Si mal no entendí, en pocas palabras sacaste el PF del medio, ahora que funciona lo que podes probar es entrar al pf del lado del servidor telefonico, ir a firewall –- nat --- y crear una regla de este estilo:
Interface Protocol Source Address Source Ports Dest. Address Dest. Ports NAT IP NAT Ports Description Actions
wan tcp/udp * * wan addr 5060 ip centralita 5060 ejemplo
pasar del gateway de tu isp los ip de la centralita al pf-sense y en el pf asignar las reglas anterior creada con la ip nueva de la centralita.
los telefonos calculo estas apuntados a tu ip publica:5060 por ej. si esta todo bien tienen que seguir funcionando. en caso de los telefonos ip no hay que abrir puertos hasta donde lo he usado, asi que aunque esten dentro de la red del pf tienen que funcionar, si lo llegas a probar avisa si funciona, saludos!