Loadbalancing Failover legt alle WAN Verbindungen (& VPN) für 5-15 Sekunden lahm

swk

Hallo liebe Community,

Wir haben eine Netgate 6100 und nutzen die auch für (Open)VPN-Dienst und haben unsere beiden Internetverbindungen (WAN1/Cable Modem & WAN2/DSL Router) zu einem Loadbalanced Gateway zusammengeschaltet, ich habe versucht das zu visualisieren:

           WAN                     WAN
             :                       :
             : CableProvider         : DSL-Provider
             :                       :
         .---+---.                .--+--.
     WAN1 | Cable Modem |     | DSL Router | WAN2
         '---+---'                '--+--'
             |                       |
    Ethernet |                       | Ethernet
             |                       |
             +------| pfSense |------+
             |                       |

 LAN 192.168.0.1/16 LoadBalance  |  GuestLAN 172.22.0.1/16
             |				
             | 
       .-----+------.
       | LAN-Switch |
       '-----+------'
             |
      ...-----+-----...
      (Clients/Servers)

Netgate 6100
Version 23.09-RELEASE (amd64)

Installierte Pakete:
aws-wizard 0.10
Cron 0.3.8_3
Ipsec-profile-wizard 1.2
Netgate_Firmware_Upgrade 23.05.00
Openvpn-cient-export 1.9.2

Wir haben die beiden WAN je als Gateway eingetragen und als Gateway Gruppe gleichberechtigt (Loadbalancing) definiert, zusätzlich haben wir WAN1 als Tier 1, WAN2 als Tier 2 als Failover.

Problem: jedes Mal wenn WAN1 oder WAN2 ausfällt ist das WAN Kommunikation (und damit VPN) komplett weg für ~5-15 Sekunden – intern switched aber alles ganz normal.

Irgendwie zweifle ich an, das es hier so ein delay/ eine non-response gap dieser Art geben soll. Leider bin ich nicht kompetent genug um es selbst gelöst zu bekommen.

Gerne gebe ich mehr Details preis, aber ich konnte nicht einschätzen was es mehr braucht.

Gruß
swk

Edit: ganz vergessen noch zu erwähnen das in der Phase in der kein WAN mehr geroutet wird auch die Weboberfläche von der pfsense nicht mehr reagiert.

Rico

Hast du unter System > Advanced > Networking "Reset All States" aktiviert?
Dann würde auf jeden Fall genau das passieren.
Alternativ gibt es noch direkt in den Gatewayeinstellungen die Option "State Killing on Gateway Failure" die du mal prüfen solltest.
Dann noch unter System > Advanced > Miscellaneous die beiden Optionen "State Killing on Gateway Recovery" und "State Killing on Gateway Failure" prüfen.

-Rico

swk

@Rico Hallo Rico, danke für dein Interesse!

In den Einstellungen System > Advanced > Networking > ist der Haken nicht gesetzt für Reset All States

System > Advanced > Miscellaneous

Load Balancing > Use sticky connections (timeout 60)
Gateway Monitoring >State Killing on Gateway Failure -> "Flush all states in gateway failure"
skip rules when gateway is down -> nicht angehakt

Zu Gateway Recovery konnte ich nichts finden

Rico

Das wird an "Flush all states in gateway failure" liegen, sobald eines der beiden Gateways down geht, werden ALLE states gekillt. Deshalb geht dan nauch das WebIF kurzzeitig nicht mehr.
Die States killt ihr wahrscheinlich wiederrum wegen den sticky connections... :-)
Das mit den sticky ist so eine Sache, letztendlich wird das nie 100% sauber laufen, den Nachteil davon siehst du jetzt ja gerade.
Teile die beiden WANs lieber sinnvoll zwischen den beiden LANs exklusiv auf und nimm jeweils das andere als Failover.
Mit LB wirst du oder deine User nie 100% zufrieden sein, zumindest war es bei mir/uns so.

-Rico

swk

@Rico Danke!
Ich schaue mir das noch mal an und evaluiere worauf ich verzichten kann.

@Rico said in Loadbalancing Failover legt alle WAN Verbindungen (& VPN) für 5-15 Sekunden lahm:

Die States killt ihr wahrscheinlich wiederrum wegen den sticky connections... :-)

Korrekt :)
Ohne Sticky hatten Anwender (Session-)Probleme bei einer wichtigen Webapplication und das war die quick & dirty Lösung

Nochmals Danke für die Hilfe :)

Rico

LB über verschiedene Gateways ist leider immer dirty. :-)

-Rico

Rico

PS: Falls du die Webapplication in einer Firewallregel bzw. Alias zusammenfassen kannst, könntest du diese an ein Failovergateway schicken und Sticky generell deaktivieren.
Das Problem ist, dass eventuell schon morgen ein User mit einem neuen Webportal um die Ecke kommt bei dem das LB durch die wechselnde IP wieder Probleme macht.

PPS: Deine pfSense Version ist schon über ein Jahr alt, ggf. mal Update machen, dann tauchen auch die anderen von mir genannten Optionen auf. ;-)

-Rico

micneu

@swk said in Loadbalancing Failover legt alle WAN Verbindungen (& VPN) für 5-15 Sekunden lahm:

Netgate_Firmware_Upgrade 23.05.00

du solltest mal Updates einspielen, aktuell ist 24.11