Deve ser isso mesmo, visto que, as conexões de saída, que utilizam apenas os VIPS do pf para chegar até a WAN nunca sofrem problema quando ocorre indisponibilidade. Já a entrada, que é interceptada pelo HAproxy, ocorre.
Não achei uma documentação mais avançada do serviço de Load Balance padrão, sabe se existe ou tem somente este:
https://doc.pfsense.org/index.php/Inbound_Load_Balancing
Edit:
https://forum.pfsense.org/index.php?topic=64358.msg349367#msg349367
"Packages like HAproxy also have an internal state associated with their connections and even if the configuration is sync'd to the secondary and the states move over, the HAproxy instance on the secondary has no way to obtain that connection information from the master's HAproxy daemon."