Perderas el balanceo de carga unicamente a esa IP concreta, a ese dominio concreto, etc.
Pero dificilmente vas a encontrar otra solucion. Si estas navegando en un foro, y el foro de repente ve otro usuario con una IP distinta haciendose pasar por ti, te preguntara de nuevo tu contraseña. Y usando balanceo de carga eso es lo que estaqs haciendo, que puedes salir por cualquiera de las 3 IPs publicas que tienes, y si bien hay muchas aplicaciones para los que eso no sera un problema, para otras como el ejemplo que pones de un foro, lo es.
En esos casos necesitas estar saliendo a internet por una sola conexion, por lo cual deberias crearte una regla concreta. Si el destino es por ejemplo forum.pfsense.org , que dirija el trafico directamente a una WAN en lugar de a una cola de load balancing.