Hallo nochals,
das war auf jeden Fall die richtige Spur, letztich habe ich wie hier beschrieben eine entsprechende floating rule für den Port 32400 gesetzt, damit ist das Problem auf jeden Fall gelöst:
https://doc.pfsense.org/index.php/Asymmetric_Routing_and_Firewall_Rules
Zwar funktioniert es jetzt, ich befürchte aber, das Problem ist generell einem falschen Aufbau meines Netzwerks geschuldet, ich versuche daher noch, das Problem auf andere Weise zu lösen.