"Mark gateway down" unerwartetes Verhalten
-
Hallo zusammen,
ich verwende hier zwei pfSensen mit der neuesten Version 2.4.5-RELEASE-p1 im Multi-WAN-Betrieb.
Davor hängt eine T* und eine KD WAN-Verbindung mit je einer Fritz!Box.
Seit letzter Woche habe ich Probleme mit der KD-Verbindung, die ständig massiv lagged, und daher das Gateway auf "mark gateway down" gesetzt. Das ist auch in der Gateway-Group das Tier 1.
Ich hatte gedacht, dass pfSense es dann nicht mehr beachten würde. Stattdessen passiert es, dass pfSense trotzdem immer wieder auf die veränderten Zustände der Verbindung reagiert. Es wird zwar nicht versucht, das Gateway zu nutzen, trotzdem ist während der Zeit immer wieder kurzzeitig kein Internet verfügbar.
Ich musste die KD-Fritz!Box komplett vom Netz trennen, damit das nicht mehr passiert.Was mache ich da falsch? Oder verstehe ich die Option nicht?
Danke und ciao.
Michael. -
so sieht das dann z.B. aus:
2020-07-06T16:07:45+02:00 roadrunner rc.gateway_alarm[32346]: >>> Gateway alarm: CABLEGW (Addr:8.8.8.8 Alarm:1 RTT:509.609ms RTTsd:476.544ms Loss:91%) 2020-07-06T16:07:49+02:00 roadrunner dhcpd: failover peer dhcp_lan: peer moves from normal to communications-interrupted 2020-07-06T16:07:49+02:00 roadrunner dhcpd: failover peer dhcp_lan: I move from communications-interrupted to normal 2020-07-06T16:07:49+02:00 coyote dhcpd: failover peer dhcp_lan: peer moves from normal to communications-interrupted 2020-07-06T16:07:49+02:00 roadrunner dhcpd: balancing pool 801d1c180 192.168.1.0/24 total 40 free 22 backup 13 lts 4 max-own (+/-)4 2020-07-06T16:07:49+02:00 roadrunner dhcpd: balanced pool 801d1c180 192.168.1.0/24 total 40 free 22 backup 13 lts 4 max-misbal 5 2020-07-06T16:07:49+02:00 coyote dhcpd: failover peer dhcp_lan: I move from communications-interrupted to normal 2020-07-06T16:07:49+02:00 coyote dhcpd: balancing pool 801d1c180 192.168.1.0/24 total 40 free 22 backup 13 lts -4 max-own (+/-)4 2020-07-06T16:07:49+02:00 coyote dhcpd: balanced pool 801d1c180 192.168.1.0/24 total 40 free 22 backup 13 lts -4 max-misbal 5 2020-07-06T16:07:49+02:00 coyote dhcpd: failover peer dhcp_lan: peer moves from communications-interrupted to normal 2020-07-06T16:07:49+02:00 coyote dhcpd: failover peer dhcp_lan: Both servers normal 2020-07-06T16:07:49+02:00 roadrunner dhcpd: failover peer dhcp_lan: peer moves from communications-interrupted to normal 2020-07-06T16:07:49+02:00 roadrunner dhcpd: failover peer dhcp_lan: Both servers normal
-
Keiner, der ne Idee hätte?
-
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Keiner, der ne Idee hätte?
Schon mal versucht "Disable Gateway Monitoring" und "Disable Gateway Monitoring Action" auf "on" stellen (also Häkchen)? Scheint mir in diesem Szenario sinnvoller als "Mark Gateway as Down".
Viel Glück, und schönes WoE,
fireodo -
@fireodo: Danke für die Anwort, aber warum scheint dir das sinvoller zu sein?
Ich hatte "gedacht" (soll man nicht, ich weiß), dass "Mark Gateway As Down" genau dafür wäre. Wenn nicht, welchen Zweck erfüllt es dann?
Wenn ich die von dir genannten Haken setze, erkennt er doch überhaupt nicht mehr, dass das Gateway weg ist und versucht weiter, darüber Daten zu schicken - oder verstehe ich die beiden Optionen auch falsch? -
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
@fireodo: Danke für die Anwort, aber warum scheint dir das sinvoller zu sein?
Wenn ich die von dir genannten Haken setze, erkennt er doch überhaupt nicht mehr, dass das Gateway weg ist und versucht weiter, darüber Daten zu schicken - oder verstehe ich die beiden Optionen auch falsch?Im Grunde genommen geht es doch darum einen falschen Alarm zu verhindern. Diese Optionen sind dafür da um das Gateway zu überwachen und im Falle des "down" auf den anderen vorhandenen Internetzugang zu schalten. So verstehe ich diese Einstellungen.
Hier kann man es nachlesen: https://docs.netgate.com/pfsense/en/latest/routing/gateway-settings.html -
@fireodo: Hm.
"Useful for local gateways or WANs that do not need to be monitored."
Aber das muss ja gemonitored werden - sonst merkt er garnixht, dass es weg ist und nutzt es weiter 8-< Ich steht verständnismäßig grad echt am Schlauch. -
Disable Gateway Monitoring:
This will consider this gateway as always being up.Gateway Action:
Disable Gateway Monitoring Action No action will be taken on gateway events. The gateway is always considered up.Mark Gateway as Down This will force this gateway to be considered down.
Und ich will ja, dass es als "down" angesehen wird, nicht dass es "always up" ist.
-
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Mark Gateway as Down This will force this gateway to be considered down.
Und ich will ja, dass es als "down" angesehen wird, nicht dass es "always up" ist.
Dann ist das die für Dich richtige Einstellung!
Schönen Sonntach,
fireodo -
@fireodo said in "Mark gateway down" unerwartetes Verhalten:
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Mark Gateway as Down This will force this gateway to be considered down.
Und ich will ja, dass es als "down" angesehen wird, nicht dass es "always up" ist.
Dann ist das die für Dich richtige Einstellung!
Ja, dummerweise funtkioniert es halt nicht 8-<
Schönen Sonntach,
fireodoDanke für deine Geduld trotzdem!
Ciao.
Michael. -
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
@fireodo said in "Mark gateway down" unerwartetes Verhalten:
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Danke für deine Geduld trotzdem!
Keine Ursache - schade daß es zu keiner Lösung geführt hat!
-
Der Anschluss scheint gestört, also entstören lassen. Ansonsten gibts noch in den Advanced Options die Möglichkeit einen Delay einzubauen. Bringt Dir bei Ingress aber auch nicht viel.
-
@mrsunfire
Ich weiß, dass der Anschluss gestört ist, deswegen will ich ja das Gateway als down markieren. Auch die Delays bringen da eher wenig, weil packet loss bis 100% für mehrere Minuten auftritt. So eine Leitung will ich ja eben gerade nicht nutzen.
Dummerweise funktioniert "Mark Gateway as down" nicht und mir fällt keine andere Maßnahme ein, als die LAN-Kabel zum Router an dieser Leitung zu ziehen. Leider kann ich dann auch nicht mehr auf den Router schauen, um dessen Monitor oder Log zu sehen.
Ich könnte schwören, dass in der Vorversion des pfSense-Systems "Mark Gateway as down" noch geklappt hat. -
"Flush all states when a gateway goes down" muss aus sein, sonst werden alle States und damit alle Verbindungen gekillt, sobald der High Watermark bei der Überwachung erreicht ist. Und das gilt leider auch für Gateways, die als down markiert wurden.
-
Ich habe das bei mir gerade getestet und es funktioniert exakt so wie ich es erwarten würde.
Gateway Group WAN_DHCP Tier 1, WAN2_DHCP Tier 2
Traffic geht über WAN_DHCP. Setze ich bei WAN_DHCP die Option Mark Gateway as Down geht der Traffic über WAN2_DHCP.-Rico
-
Sorry, aber das ist ja auch nicht das Problem.
Ja, der Traffic geht dann über das andere Gateway. Das funktioniert ohne Probleme.
Aber wenn das Gateway, das auf "down" gewzungen wurde, über high oder unter low Watermark kommt, reagiert dennoch die pfSense und wirft alle Status weg, wenn der Haken bei "Flush all states when a gateway goes down" gesetzt ist.
Meine Erwartung wäre gewesen, dass sie das bei einem Gateway nicht tut, das bewusst "down" gesetzt wurde.
Das ist bei sehr wackeligen Gateway, die alle paar Minuten zwischen 20 und 90% Packet Loss schwanken halt ein Problem. Dann hat man ständig Verbindungsabbrüche. Und wenn dann obendrauf auch noch ein openpvn sitzt, bricht das auch alle paar Minuten raus.
IMHO macht das ein wenig den Sinn von "Mark Gateway as down" kaputt. -
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Flush all states when a gateway goes down
Und warum ist das überhaupt gesetzt? Im Normalfall brauche ich diese Option nur für langlebige Verbindungen die sonst vielleicht hakeln würden. Das sind dann aber oft solche wie VoIP, die eh oft auf einem spezifischen Interface gebunden sind weil bspw. der VoIP Provider nur via Line 1 aber nicht Line 2 erreichbar ist (außer man hat wirklich was Provider-unabhängiges).
Ich denke in deinem Fall spielt hier das Mark Gateway down schon seine korrekte Rolle, wird aber vom state flush plattgebügelt. Und der ist IMHO unnötig/unsinnig. Ja damit wird ggf. schneller um/zurückgeschaltet aber zu Kosten, dass es jedes Mal ALLES weghaut, egal was es ist, auch States, die damit nichts zu tun haben (bspw. intern LAN auf DMZ o.ä.). Daher würde ich erstmal hinterfragen, ob das nicht eh falsch gesetzt ist.
Grüße
-
@JeGr
Das ist wegen der langlebigen Verbindungen gesetzt - 2 x VPN, VOIP, ...!
Ich wollte das auch nicht, aber meine Gudsde hat so lange rum gemault wegen ihres dann imer versterbenden VPN, dass mir nix Anderes übrig geblieben ist, als das zu setzen 8-<
Ich mache es halt jetzt so, dass ich beides immer parallel umsetze:"Mark Gateway as down" on
"Flush all states when a gateway goes down" offoder eben
"Mark Gateway as down" off
"Flush all states when a gateway goes down" on -
Hm, evtl. kann man das lösen, indem man klärt, warum das VPN immer verstirbt.
Das openvpn ist auf ein Failover-Gateway gesetzt. Wenn da der TIER 5 weg bricht, während der TIER 1 noch da ist, ist noch alles gut. Wenn aber der TIER 5 wiederkommt, hauts die VPN-Verbindung weg.
Irgendwie liegt das womöglich an dem beschriebenen Verhalten, dass ein Switch zurück nicht funktioniert. Aber ich kann es nicht greifen, warum das ein Problem ist, wenn doch nicht der primäre, sondern der Failover TIER weg geht. -
Achso ja - es geht nicht um ein openvpn auf den pfSensen, sondern um einen Client dahinter auf einen Server im Internet.
-
Ich kann zwar dein Problem nicht direkt lösen aber etwas seltsam verhält sich das schon.
Bemerke bei meiner Vodafone Kabel Leitung aktuell ein ähnliches Verhalten.
Default Gateway ist eine FailoverGroup, Member ist Tier1 Vodafone Kabel und Tier2 VVDSL. Wird der Schwellwert bei Tier1 erreicht und ist nicht mehr verfügbar, wird auf Tier2 gewechselt. Soweit alles korrekt. Nur wenn Tier1 wieder da ist, wechselt die pfSense des öfteren NICHT zurück und noch viel schlimmer ist, Tier2 verliert die PPPoe Verbindung, welche auch nicht wieder automatisch aufgebaut wird. -
@m0nji
Hm, das hört sich aber irgendwie nach einem anderen Problem an, das meinem eher vorgelagert ist. -
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
ich verwende hier zwei pfSensen mit der neuesten Version 2.4.5-RELEASE-p1 im Multi-WAN-Betrieb.
Wieso verwendest du zwei mal pfSense?
-
@Bob-Dig
HA-Lösung, d.h. Failover mit zwei Leitungen. -
Aber beide Leitungen auf beiden Geräten aufgelegt oder? :)
-
@JeGr said in "Mark gateway down" unerwartetes Verhalten:
Aber beide Leitungen auf beiden Geräten aufgelegt oder? :)
Jepp!
-
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
@JeGr said in "Mark gateway down" unerwartetes Verhalten:
Aber beide Leitungen auf beiden Geräten aufgelegt oder? :)
Jepp!
OK ich hatte schon Puls ^^
Was den VPN Client connect nach draußen angeht klingt das merkwürdig, dass es die Verbindung zerlegt, wenn der nicht genutzte lower Tier Provider wiederkommt. Das ist aber eine Client Verbindung von einem Client (also PC) oder ein Client in der pfSense konfiguriert?
Ansonsten hilft bei sowas auch die reconnect/ping/keepalive Werte zu tunen, dann sind die mitunter so gering bzw. bauen sich neu auf, dass man das bei 1-2x gar nicht wirklich mitbekommt. Wenn da allerdings häufiger am Tag mal der eine oder der andere Provider Aussetzer haben, dann wäre es vielleicht sinnvoller da anzusetzen um da erstmal Ruhe reinzubekommen. -
@JeGr said in "Mark gateway down" unerwartetes Verhalten:
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
@JeGr said in "Mark gateway down" unerwartetes Verhalten:
Aber beide Leitungen auf beiden Geräten aufgelegt oder? :)
Jepp!
OK ich hatte schon Puls ^^
hehe :)
Was den VPN Client connect nach draußen angeht klingt das merkwürdig, dass es die Verbindung zerlegt, wenn der nicht genutzte lower Tier Provider wiederkommt. Das ist aber eine Client Verbindung von einem Client (also PC) oder ein Client in der pfSense konfiguriert?
Ne, das ist ein Client im internen Netz, der durch die pfSensen auf einen Server im Internet connected.
Ansonsten hilft bei sowas auch die reconnect/ping/keepalive Werte zu tunen, dann sind die mitunter so gering bzw. bauen sich neu auf, dass man das bei 1-2x gar nicht wirklich mitbekommt. Wenn da allerdings häufiger am Tag mal der eine oder der andere Provider Aussetzer haben, dann wäre es vielleicht sinnvoller da anzusetzen um da erstmal Ruhe reinzubekommen.
Ja, naja, das war dann auch der Grund, warum ich das Gateway down gesetzt habe.
Mit den "reconnect/ping/keepalive Werte"n meinst du die des openvpn Client?Danke.
Ciao.
Michael. -
Hab quasi Null Ahnung von dem Thema, aber würde es die Sache vielleicht einfacher machen, auf eine pfSense zu verzichten?
-
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Mit den "reconnect/ping/keepalive Werte"n meinst du die des openvpn Client?
OK also der Client sitzt dahinter, sprich die States laufen ganz regulär wie alles andere auch via xyLAN zu WAN rüber. Dann wundert es mich noch mehr. Ja mit den Werten sind die des OVPN Clients gemeint. Die sind normalerweise recht großzügig gesetzt bis da ein "down" erkannt und ein reconnect versucht wird. Da kann man natürlich feilen. Aber eventuell liegt es einfach daran, dass der OVPN Client natürlich dann Probleme bekommt, wenn ein ISP wieder kommt und er auf den zurückfallen soll. Da OVPN ohne zusätzliche Konfig auf dem Server keine gleitende IP unterstützt (also dass sich deine IP des Clients ändern darf), wird das unweigerlich zu Aussetzern führen. Ich würde da den OVPN Client dann einfach fix auf die Leitung packen, die von Geschwindigkeit her OK und von der Zuverlässigkeit besser ist. Einfach mit ner PBR fix auf das entsprechende GW setzen (und dann eben nur die Ziel-IP/OVPN Port), dann sollte das - außer das GW geht down - fast immer funktionieren.
-
@Bob-Dig said in "Mark gateway down" unerwartetes Verhalten:
Hab quasi Null Ahnung von dem Thema, aber würde es die Sache vielleicht einfacher machen, auf eine pfSense zu verzichten?
Und wie soll mit einer pfsense HA funktionieren?
-
@JeGr said in "Mark gateway down" unerwartetes Verhalten:
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Mit den "reconnect/ping/keepalive Werte"n meinst du die des openvpn Client?
OK also der Client sitzt dahinter, sprich die States laufen ganz regulär wie alles andere auch via xyLAN zu WAN rüber. Dann wundert es mich noch mehr. Ja mit den Werten sind die des OVPN Clients gemeint. Die sind normalerweise recht großzügig gesetzt bis da ein "down" erkannt und ein reconnect versucht wird. Da kann man natürlich feilen. Aber eventuell liegt es einfach daran, dass der OVPN Client natürlich dann Probleme bekommt, wenn ein ISP wieder kommt und er auf den zurückfallen soll.
Da genau liegt das Problem - er muss nicht zurückfallen.
Weg ist ja der secondary Tier - und er läuft über den Primary.
Warum interessiert es dann, wenn der wieder da ist, den er eh nicht nutzt? Und das auch nur, wenn der Haken für den State flush nicht gesetzt ist.Da OVPN ohne zusätzliche Konfig auf dem Server keine gleitende IP unterstützt (also dass sich deine IP des Clients ändern darf), wird das unweigerlich zu Aussetzern führen. Ich würde da den OVPN Client dann einfach fix auf die Leitung packen, die von Geschwindigkeit her OK und von der Zuverlässigkeit besser ist. Einfach mit ner PBR fix auf das entsprechende GW setzen (und dann eben nur die Ziel-IP/OVPN Port), dann sollte das - außer das GW geht down - fast immer funktionieren.
Ja, wäre ne Lösung.
Gefällt mir aber deswegen nicht, weil ich das andere Problem gerne verstehen würde. Danach kann ich auch mit einem Workaround leben, vorher nicht :) -
@nobanzai said in "Mark gateway down" unerwartetes Verhalten:
Gefällt mir aber deswegen nicht, weil ich das andere Problem gerne verstehen würde. Danach kann ich auch mit einem Workaround leben, vorher nicht :)
Verständlich :) Müsste man wirklich mal versuchen irgendwie nachzustellen, aber bislang konnte ich so ein Verhalten noch nirgends beobachten.
-
@JeGr
Wie es aussieht, hat das Umsetzen der "ping", "ping-restart" und "ping-exit" Parameter irgendwie geholfen. Bei längeren Tests damit heute ist auf jeden Fall am Ende die Verbindung bei einem Dutzend Schwenks stabil geblieben. Wir beobachten das weiter.
Leider haben wir ja auch genug Gelegenheit dazu, nachdem das Geferkel mit der KD-Leitung nun in die siebte Woche geht 8-((ping 30
ping-restart 30
ping-exit 600