Obrigado pelas dicas, fiz testes com o fail2ban e realmente é a ferramenta que precisa para esse fim. Inclusive parabéns pelo projeto, muito interessante e funcional por ser modular e simples de implantar.