[Gelöst] Multi WAN Failover Setup: Traffic über Tier 2, obwohl Tier 1 online

cc_aero

Hallo liebe Leute,

ich habe aktuell ein Problem mit meinem Multi-WAN Failover Setup.
WAN1 ist eine LTE-Verbindung (30mbit down / 10mbit up) via einem Bridge-Modem. pfsense hängt per Ethernet am LTE-Modem bekommt direkt per DHCP eine öffentliche IP zugewiesen.
WAN2 ist eine DSL-Verbindung (3mbit down / 0,3mbit up) via PPTP.

Ich habe 2 Gateway Groups angelegt:
Group1: Tier 1 = WAN1, Tier 2 = WAN2
Group2: Tier 1 = WAN2, Tier 2 = WAN1

In den Firewall-Regeln route ich nur bestimmte Ports (HTTP(S), Mail, etc) über die Group1. Allen anderen Traffic leide ich über Group2.

Dieses Setup hat seit über einem halben Jahr einwandfrei funktioniert.
Seit pfSense-Upgrade auf 2.3.2 habe ich hab ein Problem mit dem Setup in folgendem Fall (Bsp. Group1):

WAN1 geht offline -> Traffic wird nun über WAN2 geroutet -> WAN1 geht online (wird auch im Dashbord als online angezeigt) -> Traffic wird weiterhin über WAN2 geroutet!!! Erst wenn ich die Filter reloade oder die States resete geht der Traffic wieder durch WAN1.

Hinweis: Der Traffic wird auch dann über WAN1 geroutet, wenn ich ein komplett "neues" Gerät anschalte und eine neue Verbindung irgendwo hin herstelle.

Interessant ist auch: Wenn ich WAN1 manuell als "down" markiere (in den Gateway-Einstellungen) und dann wieder als "up" markiere, wird der Traffic wieder korrekt geroutet.

Das Problem habe ich wie gesagt erst seit pfsense 2.3.2, vorher wurde der Traffic sofort wieder über WAN1 geleitet, wenn WAN1 nach einen Aufall wieder online ging.

Gibts hier in den aktuellen pfsense Versionen einen Bug oder ist das ein gewolltest verhalten oder habe ich ein Konfig-Problem?

Vielen Dank schon mal :)

JeGr

Fragen:

Warum überhaupt Group2 wenn es nur aus WAN1 besteht!?
Warum statt Group2 nicht einfach das WAN1 GW direkt eintragen?`
Es gibt in den Advanced Options den Punkt State Killing on Gateway Failure. Hast du es mal mit diesem Punkt aktiviert versucht? Es könnte sein, dass trotz WAN1 wieder up eben noch der Traffic via WAN2 läuft, weil die States nicht auslaufen und auch nicht gekillt werden.

Warum das ggf. erst seit 2.3.2 auftritt weiß ich allerdings nicht zu sagen, mir würde keine Änderung im Changelog dazu einfallen (oder ich habe sie überlesen).

Grüße

cc_aero

Hallo, vielen Dank erst mal für die Antwort :)

zu 1 & 2) tatsächlich habe ich mich hier vertippt, ist in Wahrheit so: Group2: Tier 1 = WAN1, Tier 2 = WAN1. Group2 ist also umgekehrt zu Group1, ich werde den Eingangspost entsprechend ändern.
zu 3) Das hab ich noch nicht getestet - aber wirkt sich diese Option nicht nur auf das Failover aus (also umschalten auf Tier #2) ?

Was mir jetzt in der Zwischenzeit aufgefallen ist:
Wenn WAN1 die Latenz-Grenze oder Paketverlust überschreitet wird korrekt auf WAN2 geswitched und wenn sich die Situation auf WAN1 gebessert hat wird dir Traffic wird korrekt und sofort über WAN1 geleitet.

Das Problem tritt scheinbar nur dann auf, wenn WAN1 down geht - zB das Kabel gezogen wird oder das Modem ausgeschaltet wird.

Ja das wundert mich auch, mit Version 2.3 lief alles wie geschmiert.
Könnte es sein das es im Upgrade irgendetwas an der Config "zerstört" hat?

JeGr

Könnte es sein das es im Upgrade irgendetwas an der Config "zerstört" hat?

Das sollte eigentlich nie der Fall sein, aber ausschließen kann man es natürlich auch nicht. Allerdings würde es mich wundern, dass der Rest des Systems dann wie vorher läuft…

rubinho

Willkommen im Club der Multi-WAN Problemkinder.

Ich hab mittlerweile resigniert und das Autoswitching mittels Routinggroups deaktiviert.
Der Ärger/Nutzen Faktor war einfach zu schlecht.

Man muss aber dazu sagen, dass es ein wenig auch an meinem Kabelanschluss liegt. Bei dem Anschluss kommt es täglich zu kleineren Netzwischern was der PFsense arg zu schaffen macht.
Zu spitzen Zeiten habe ich ca 1600 Mails von der PFS an einem Tag bekommen (Member Down, Member up….)

Wichtig ist, dass du das Feature "State Killing on Gateway Failure" aktiv ist und dann gibt es noch ein verstecktes Feature (Zumindes war es das mal)

Dieses setzt auch die States zurück wenn sich die IP Adresse ändert. (Vielleicht hilft das da.)

$config['system']['ip_change_kill_states'] = true;
write_config();

Gruß
Rubinho

athurdent

@rubinho:

Man muss aber dazu sagen, dass es ein wenig auch an meinem Kabelanschluss liegt. Bei dem Anschluss kommt es täglich zu kleineren Netzwischern was der PFsense arg zu schaffen macht.
Zu spitzen Zeiten habe ich ca 1600 Mails von der PFS an einem Tag bekommen (Member Down, Member up….)

In den Gateway Einstellungen unter Advanced kannst Du die Empfindlichkeit des Monitors einstellen, so dass er bei kleinen Ausfällen nicht anspricht.

rubinho

@athurdent:

In den Gateway Einstellungen unter Advanced kannst Du die Empfindlichkeit des Monitors einstellen, so dass er bei kleinen Ausfällen nicht anspricht.

Das weiß ich.

Ich habe den Begriff "Netzwischer" etwas optimistisch benutzt, das Inet ist als für mehrere Sekunden weg.

Die Empfindlichkeit steht schon ziemlich unempfindlich.
Irgendwann muss ich ja umswitchen. Aber wenn die Leitung schwenkt, dauert es noch keine 5 Sekunden bis der Gateway wieder zurückschwenkt und dann schüttelt es die PFS wieder komplett durch.

Im Übrigen habe ich mit den gleichen Einstellungen (Empfindlichkeit) ohne Gatewaygroups keine Probleme mehr.

Mir kam es so vor, als ob das Gateway Switching flappt. Bei einem einzigen Ausfall hab ich immer mindestens 30 Mails bekommen. Ich dachte ursprünglich dass es am A-Pinger liegt und hab all meine Hoffnung auf den D-Pinger gesetzt. Jedoch hatte sich der Zustand mit dem D-Pinger nicht gebessert.

Wie dem auch sei, ich hab erstmal mit dem Thema abgeschlossen.
Wenn jemand mal eine funktionierende Lösung (Ohne Mailflut) für ein Multiwan (Mit zwei Gatewaygruppen) mit Kabel + DSL parat hat, kann er sie gerne mal posten.

athurdent

Vielleicht solltest Du das Problem besser an der Wurzel fassen, mein Kabel / DSL Multiwan läuft prima, Settings sind auf Standard. Kabelinternet mit ständingen Aussetzern solltest Du reklamieren. Telefonieren kann man über sowas ja z.B. auch nicht, falls Du VoIP bei denen gebucht hast.
Ich hab vielleicht alle 2 Wochen mal nen kurzen Aussetzer, seit der Fritzbox 6490. Das alte Cisco Modem war Monatelang stabil.
Mit 2.4 sind die Mails übrigens deutlich weniger geworden und es gibt obendrein jetzt endlich auch welche mit "ist wieder online".

rubinho

@athurdent:

Vielleicht solltest Du das Problem besser an der Wurzel fassen, mein Kabel / DSL Multiwan läuft prima

Schon versucht, ich habe nach 3 gewechselten Hausanschlussverstärker, 4 Modems, 2 Anschlussdosen auch hier resigniert.

Das Problem liegt im Kabelnetz, da auch andere diese Wischer haben, die meisten merken es aber nicht. (Sie bekommen ja keine Mails, so wie ich)
Und da ich keine Alternative bei uns auf dem Land habe, muss ich diese Kröte schlucken. Der wackelige Kabelanschluß war ja der Grund warum ich mir überhaupt einen Backup-DSL zugelegt habe.

Mal davon abgesehen, die Mailflut war auch nicht der einzigste Grund gewesen. Oft haben sich die States nicht resetet und ich bin trotz vorhandener Kabelverbindung immer noch über den DSL gegangen.

Meine Telefonie habe ich von meinem Internetprovider entkoppelt und läuft ausschließlich über meine DSL Backupverbindung.

Aber mal was anderes, wenn du ne 6490 betreibst, dann hast du bestimmt keinen aktiven Bridgemode und das könnte die Erklärung für deine fehlenden Probleme sein. Welche IP pingt denn dein Gatewaymonitor an ?

cc_aero

@rubinho:

Wichtig ist, dass du das Feature "State Killing on Gateway Failure" aktiv ist und dann gibt es noch ein verstecktes Feature (Zumindes war es das mal)

Dieses setzt auch die States zurück wenn sich die IP Adresse ändert. (Vielleicht hilft das da.)
$config['system']['ip_change_kill_states'] = true;
write_config();

Vielen Dank für die Antworten - "State Killing on Gateway Failure" habe ich schon versucht - ohne erfolg. Der schwenk vom Failover auf die "Hauptleitung" ist trotzdem nicht erfolgt.
Die versteckte-Config-Option hab ich auch getestet - mit dem Effekt das die DSL-Einwahl (Backup-Leitung) via PPTP nicht mehr funktioniert hat, da nach jeder Verbindung die Stats (auch die der PPTP Verbindung zum Modem) zurückgesetzt wurde - endete somit in einer Endlosschleife.

Jedoch habe ich für mich einen anderen Work-Around gefunden:
Ich habe im Script /etc/rc.newwanip eine Zeile eingefügt, die die Filter neu lädt - damit funktioniert nun das zurückschwenken auf Tier1 einwandfrei - zumindest die letzten 3 Tage, mal sehen ob das so bleibt.


 	/* reload igmpproxy */
 	services_igmpproxy_configure();

 	/* restart snmp */
 	services_snmpd_configure();

 	restart_packages();
       filter_configure(); <= Eingefügte Zeile
 } else {
 	/* signal filter reload */
 	filter_configure();
 }

?>

JeGr

Hast du das ggf. mal in den Bugtracker (Redmine) gemeldet? Vielleicht ist das ja an der Stelle entweder ein Bug -> dann profitieren ja alle davon ;) - oder es ist aus anderen Gründen gewollt -> dann wärs schön zu wissen welche/warum?

Fände ich noch eine schöne Ergänzung zu dem Thread :)

David127

Hallo.

Kurze Frage. Muss man diesen Code in "Diagnostics > Command Prompt" ausführen?

$config['system']['ip_change_kill_states'] = true;
write_config();

Wenn ja, wo wird es hinterlegt/ gespeichert?