Seu problema é claramente a nível de aplicação, ou seja, camada 7.
o pfSense pode te ajudar no monitoramento das ameaças e tentar bloquear os que te atacam, por exemplo, ao receber ataques DoS que visam algum WebService, você pode bloquear o atacante, usando o Snort ou Suricata para identificar o agressor.
Porém, seu problema me parece muito mais no servidor Web, você pode estar sofrendo com SQL Injection dentre outros vários problemas. Solucione problemas comuns de segurança no seu servidor Web primeiro, depois parta para sistemas IDS, porque configura-los exige real conhecimento sobre redes, não é algo exclusivo do pfSense, qualquer IDS requer planejamento e conhecimento.