externe IP bei 2 x DSL + LTE Backup

Ximix

Hallo,
da habe ich mich wohl nicht ganz richtig ausgedrückt. Ehrlich gesagt fällt es mir schwer, den Sachverhalt so darzulegen, dass mein Problem deutlich wird.

Dir ist klar, dass du damit nicht mehr Bandbreite hast und wie WAN LoadBalancing/Failover funktioniert? In diesem Fall ist 10+10 nicht einfach 20.

Mir ist schon klar, dass ich bei eingehendem Verkehr nicht die doppelte Bandbreite nutzen kann. Die höhere Bandbreite brauche ich hauptsächlich für ausgehenden Verkehr (externes Backup). Evtl. ließe sich der eingehende Verkehr auch auf die beiden DSL-Leitungen verteilen, aber dann funktioniert das mit dem LTE-Backup nicht mehr.

Die zentral Frage ist eben die, wie kann ich zwei DSL-Leitungen und eine LTE-Backup-Leitung kombinieren und dies so konfigurieren, dass ich auch im Backup-Fall weiterhin von außen erreichbar bin. Ich will die Dienste gar nicht auf Multi-IP auslegen, ich will, dass ich im Fehlerfall über LTE erreichbar bleibe. Da sich in diesem Fall die IP aber ändert, müsste ich diese ja per DynDNS bekannt machen.

Bei einer zweiten Leitung DSL wäre zudem das LTE Backup ziemlich - nunja. Stellt sich die Frage ob man das braucht bzw. ob bei Ausfall dann gleich beide DSL Leitungen tot sind, dann ist das ganze Spiel zusätzlich sinnfrei, denn ein ständiges umschalten dann auf einen dritten macht das ganze zum Unding.

Bisher war es immer so, dass wenn DSL ausfällt, dann fällt nicht nur eine Leitung aus, sondern alles. Dann brauche ich LTE. Wir haben leider keinen zweiten Anbieter vor Ort oder auch kein Kabelanschluss. Beide DSL-Leitungen von der Telekom.

Es gäbe zwar noch ein zwei Wege, das ggf. auch über die gleiche externe IP zu lösen, die sind aber aufwändig und müssen sauber durchgeplant und durchdacht werden wenn da entsprechend viele Dienste dranhängen. Wir haben das für einen Kunden schonmal gemacht, aber es ist aufwändig und komplexer zu installieren und braucht zudem außer mehreren Leitungen noch eine fremdgehostete Instanz mit fester/festen IPs extern von euch.

Das würde ich mal ausschließen wollen

JeGr

@Ximix said in externe IP bei 2 x DSL + LTE Backup:

Evtl. ließe sich der eingehende Verkehr auch auf die beiden DSL-Leitungen verteilen, aber dann funktioniert das mit dem LTE-Backup nicht mehr.

Muss es das dann noch? Wenn du 2 DSL Lines hast, sind die vom gleiche Provider und fallen die gleichzeitig aus? Andere Möglichkeit gegeben vielleicht? Kabel o.ä.?

Die zentral Frage ist eben die, wie kann ich zwei DSL-Leitungen und eine LTE-Backup-Leitung kombinieren und dies so konfigurieren, dass ich auch im Backup-Fall weiterhin von außen erreichbar bin.

Nochmal: muss dann überhaupt LTE noch mit laufen? Wenn ja und man traut beiden DSL Lines nicht, bringt die zweite DSL ja so viel auch nicht, oder? Dann ist das ganze Konzept ja schon ziemlich durcheinander.

Ich will die Dienste gar nicht auf Multi-IP auslegen, ich will, dass ich im Fehlerfall über LTE erreichbar bleibe. Da sich in diesem Fall die IP aber ändert, müsste ich diese ja per DynDNS bekannt machen.

Bisher war es immer so, dass wenn DSL ausfällt, dann fällt nicht nur eine Leitung aus, sondern alles. Dann brauche ich LTE. Wir haben leider keinen zweiten Anbieter vor Ort oder auch kein Kabelanschluss. Beide DSL-Leitungen von der Telekom.

Gut aber was bringt dir dann die zweite DSL Line wenn sie potentiell genauso oft ausfällt wie die erste?

Das würde ich mal ausschließen wollen

Dann wird das was du dir vorstellst nicht realisierbar bleiben. Du kannst keine zwei Gateways auf Tier 1 "loadbalancen" mit Tier 2 als Backup und dann noch lustig per gleicher IP erreichbar sein (auch nicht per DynDNS). Das geht entweder wie beschrieben nur komplexer mit einem zentralen Server Setup und optimalerweise einem OSPF Setup (oder gutem Routing), oder wie jetzt ohne zweite Leitung. Ansonsten ist die Ansteuerung der internen Dienste einfach nicht/mies machbar.

Ximix

Hallo,
ich fürchte ich werde leider nicht ganz richtig verstanden. Das liegt aber vermutlich daran, dass ich es selten schaffe, mich textlich so auszudrücken, dass man mich richtig versteht. Daher werde ich das Problem vermutlich wieder alleine lösen müssen.
Danke für die Bemühungen, aber so komm ich nicht weiter, da die Antworten mich nicht weiterbringen. Ich bin der Meinung, dass die Konfiguration die ich vorhabe sehr häufig vorkommen muss. Daher muss es auch eine Lösung dafür geben. Es ist doch nicht ungewöhnlich mehrere Leitungen zu haben, diese auch beide nutzen zu wollen und für den Notfall ein Backup über eine Verbindung eines anderen Anbieters zu nutzen.

JeGr

Nein Multi-WAN ist nicht unüblich. Aber wenn du es allein lösen willst - bitteschön. Ansonsten musst du eben entweder ein wenig mal Details auspacken und ggf. einfach mal nen Plan zeichnen - es gibt auch ASCII Vorlagen hier - oder es richtig beschreiben wenn du denkst, ich verstehe dich nicht. Wir haben zumindest mit der Firma schon mehr als einen Kunden mit Multi-WAN und teils auch schräge Konstellationen gebaut. Kein Ding. Aber dann muss man sich auch klar ausdrücken was man will.

Du sprichst eben mehrfach von eingehenden Verbindungen die auch mit den mehreren Leitungen klarkommen sollen - und da sage ich dir, dass das schwierig wird. Und gerade dein komisches DynDNS Konstrukt kommt damit nicht klar - und nein, das hat kein einziger Kunde so im Einsatz. Nicht mal ein bisschen. Du kannst eben kein DynDNS Gedöns anlegen für ein Loadbalanced Tier 1 über 2 DSL lines -> welche IP soll er denn dann nehmen? Die auf die er Lust hat? Und dann bei Tier 2 auf LTE zurückfallen. So läuft das Paket eben nicht.

Ausfallsicher - Failover - ist klar und das funktioniert auch. Andere Konstrukte laufen sicher auch - aber eben nicht wenn man gleichzeitig noch über alle möglichen Leitungen dann VON extern erreichbar sein will. Dann musst du dir draußen nen Loadbalancer o.ä. hinstellen, der dir auf die aktive Line deinen Kram reinroutet. Wenn die zweite DSL Leitung NUR für ausgehenden Traffic wäre, ist das komplett einfach lösbar. Abgehend ist sticky loadbalancing kein Ding. Aber wenn man von extern nur über eine einzige Adresse erreichbar sein mag, dann wird es eben tricky. Und nein, das ist keine normale häufige Konstellation denn den meisten ist ihr eingehender Traffic - wenn überhaupt - völlig wumpe, es sei denn, sie sind eine (größere) Firma und hosten bspw. selbst. Und wenn man selbst hostet muss man sich über Erreichbarkeit Gedanken machen.

Eine Möglichkeit ist wie schon mehrfach angedeutet bspw. einen externen Host mit pfSense (bzw. OpenVPN würde fast reichen) und dorthin über jede der DSL und LTE Leitungen einen Tunnel aufbauen. Rein theoretisch würde da sogar ein unverschlüsselter Tunnel reichen, da das nur dazu dienen soll, den Traffic zu bündeln. Dann setzt man auf beide Seiten etnsprechendes Routing durch die VPN Transfernetze - oder eben noch besser OSPF - und schwupps hat man das was für teuer Geld und mit viel Bullshit-Bingo als superduper "WAN Accelerator" oder Multi-WAN-Bündelungs-Service verkauft wird. OSPF die DSL Lines auf gleiche Wertigkeit so dass diese abwechselnd genutzt werden, die LTE als Fallback höher eingestuft und dann fluppt alles statt direkt aus den DSL Lines via Tunnel über die externe Adresse des VPN Hosts raus. Und eingehend der gleiche Weg. Fällt eine der beiden DSL Lines aus ist es wurscht - dann wirds ein wenig langsamer. Fallen beide aus weil T-Com dann geht der Traffic über den LTE Tunnel. Externe IPs sind egal da die nicht genutzt werden.

Also Ja. Man kann sowas bauen. Aber bei "eingehenden Traffic plus Name/IP soll gleich bleiben/etc." WünschDirWas wird es eben schwerer umsetzbar. Dein Gedanke mit DynDNS ist nett, aber nicht wenn man 2 Leitungen gleichberechtigt nutzen möchte. Sobald das vom Tisch ist, ist es eine etwas erweiterte normale Multi-Wan Konfig. Aber da du nicht mal schreibst, WAS du überhaupt alles abbilden musst, was da drüber wie funktionieren soll etc. sondern dich leider nur an deinem Wunsch-Bild der Uplinks festhältst, wird es eben schwer Gedanken zu lesen WAS bei dir alles am Start ist und WOHIN funktionieren soll. Also wie wärs mit ner Liste was wie wo funktionieren soll?

Grüße

Ximix

Hallo,

danke für deine Antwort. Da steckt doch schon viel drin, was mir weiterhilft.

Du sprichst eben mehrfach von eingehenden Verbindungen die auch mit den mehreren Leitungen klarkommen sollen - und da sage ich dir, dass das schwierig wird

Eingehend braucht das nicht über mehrere Leitungen gehen. Nur bei DSL-Ausfall, soll eben der Verkehr dann auch über LTE reinkommen, d.h. der Domainnamen, der auf die feste IP des DSL-Anschlusses lautet, soll eben dann auf die IP des LTE-Anschlusses zeigen. Das geht im Moment auch, aber eben nur bei einer DSL-Leitung und einer IP.

Du kannst eben kein DynDNS Gedöns anlegen für ein Loadbalanced Tier 1 über 2 DSL lines -> welche IP soll er denn dann nehmen? Die auf die er Lust hat?

Genau das war ja meine Frage. Da habe ich auch vermutet, dass das nicht lösbar ist und habe daher nachfragen wollen, wie andere das machen. Ich habe auf den DSL-Anschlüssen feste IPs, aber beim Ausfall sollte der Domainnamen eben nicht mehr auf die feste IP, sondern auf die IP des LTE-Anschlusses zeigen. Wie außer mit DynDNS sollte das gehen?
Aber selbst das ist nicht so einfach. Setze ich die DynDNS-Konfig in pfsense auf die GW-Group, dann meldet der mir mal die IP des einen DSL-Anschlusses und mal die IP des anderen DSL-Anschlusses und nur im Fehlerfall die des LTE. Setze ich die DynDNS-Konfig in pfsense auf das WAN eines der DSL-Anschlüsse, dann wird auch im Ausfall nicht die IP des LTE gemeldet. Ich bekomme das also nur hin, wenn ich ein GW-Group aus einem DSL und dem LTE setze und die zweite DSL-Leitung extra sehe und nicht zusammen mit dem ersten betreibe. Keine Ahnung, wie dann die Konfig aussähe und ob das überhaupt geht.

Wenn die zweite DSL Leitung NUR für ausgehenden Traffic wäre, ist das komplett einfach lösbar. Abgehend ist sticky loadbalancing kein Ding.

Das war mein Alternativgedanke und so würde ich es dann auch höchstwahrscheinlich lösen.

Dein Gedanke mit DynDNS ist nett, aber nicht wenn man 2 Leitungen gleichberechtigt nutzen möchte.

Das war meine Befürchtung von Anfang an, aber ich hab gehofft, dass es dafür eine einfache Lösung gibt und ich was übersehen habe.

Also wie wärs mit ner Liste was wie wo funktionieren soll?

Wir haben ein paar Webseiten für unsere Mitarbeiter (z,B. Nextcloud, OWA, ...) die über HAProxy auf internen Server liegen.
Der MX unserer Domain zeigt auch auf unsere IP.
VPN - Verbindungen von Außenstellen ( 3 x Lan2Lan und ca 15 RW) über die neben den ganzen internen Shares auch notwendige Remote-Apps zur Verfügung gestellt werden.
TerminalServer über Gateway und ReverseProxy die von extern erreichbar sein müssen

Ich fürchte langsam, ich lasse alles wie es ist und freu mich, dass es so funktioniert.

Ximix

Hallo,

und es geht doch. Habe für mich eine Lösung gefunden, die funktionieren müsste.

eine Gateway-Group, mit 2xDSL als TIER1 und 1xLTE als TIER2, diese wird als aktives Gateway genutzt.
eine Gateway-Group aus dem ersten DSL-Anschluss mit der festen IP als TIER1, dem zweiten DSL-Anschluss mit ebenso fester IP als TIER2 und das LTE als TIER3

Der DynDNS-Client der pfsense hört auf die zweite GW-Group und liefert im Normalfall so die feste IP des ersten DSL-Anschlusses. Im Fehlerfall schaltet die erste GW-Group auf LTE um und auch der DynDNS-Client meldet die IP des LTE-Anschlusses.

Das sollte genau zu dem Ergebnis führen, dass ich wollte. Wahrscheinlich lags nur daran, dass ich mich nicht verständlich ausgedrückt habe, in diesem Fall tut es mir leid, wertvolle Zeit gestohlen zu haben.

JeGr

Noch ein paar Punkte:

Das war mein Alternativgedanke und so würde ich es dann auch höchstwahrscheinlich lösen.

Dann ist die Ausgangslage anders und völlig machbar wie du rausgefunden hast. Wenn eingehend nur über eine Leitung gehen muss und man die zweite dann für abgehenden Traffic nutzt damit nicht beide so ausgelastet sind - also (was ich zu Anfang geschrieben habe!) manuell die Notwendigkeiten und Dienste aufteilt - ist das alles machbar. Dann braucht auch dein DynDNS gar nicht erst auf die zweite DSL Leitung switchen die wahrscheinlich eh mit stirbt wenn die Telekom down ist. Zudem ist zu beachten, dass du bei 2 Anschlüssen potentiell das gleiche Gateway bekommst was nicht sauber funktionieren wird, das hängt aber von deinem Anschluß und der Telekom ab und kann man vorher schlecht wissen.

Ich habe auf den DSL-Anschlüssen feste IPs, aber beim Ausfall sollte der Domainnamen eben nicht mehr auf die feste IP, sondern auf die IP des LTE-Anschlusses zeigen. Wie außer mit DynDNS sollte das gehen?

DynDNS ist dafür überhaupt nicht gemacht worden. Du versuchst mit kruden Hausmittelchen für Privatleute einen "Enterprise" Service (Anbieten eigener Dienste über mehrere Provider/IPs) zu bedienen. So läuft das nicht. Dafür gibts in der Praxis entweder BGP (im ganz großen Stil) oder kleiner eben einen Provider der eine Ausfallsichere Leitung bringt (du also mit der IP nichts zu tun hast). Oder du musst dir eben eingehend einen (externen) Loadbalancer besorgen, der das dann dynamische innerhalb Sekunden löst und eine extra IP hat. Es hat schon einen guten Grund, warum bei so einem Anwendungsprofil die Sachen in einem RZ stehen und nicht zu Hause in der Firma im Keller. Das ist dann der Unterschied zwischen Datacenter spielen und tatsächlich machen ;)

Und ja wir haben einen Kunden für den wir das machen. Der hat sich explizit zwei Leitungen legen lassen. Unterschiedliche Punkte am Gebäude damit auch kein Bagger beide Leitungen abgräbt. Und bei dem aus Gründen die Kisten bei sich stehen müssen die er viel lieber deshalb (weil das nicht simpel mit DynDNS Spielerei zu lösen ist) in nem DC hätte. Geht aber nicht. Für den hosten wir explizit in unserem DC mit fester externer IP nen Loadbalancer, der den Traffic dann auf seine beiden Leitungen zu ihm reinroutet und bei Fehlerfall umschaltet/wegschaltet. Und solche Services sind eben nicht billig. DynDNS klappt da aus verschiedenen Gründen nicht. Bei euren "kleinen" Diensten wie Nextcloud oder OWA wird man ggf. nur ausgeloggt, bei dem Kunden hängt eben ein voller Shop dran, da kann man bei Failover nicht mal kurz den Warenkorb verlieren ;)

Der MX unserer Domain zeigt auch auf unsere IP.

Noch ein Punkt gegen die DynDNS Spielerei. MX Einträge sollen auf feste IPs verweisen. Da kann/soll kein Domainname rein. Hier bringt dann auch kein DynDNS irgendwas, sondern nur ein zweiter MX Eintrag für die zweite Leitung oder ein dritter für LTE was.

VPN - Verbindungen von Außenstellen ( 3 x Lan2Lan und ca 15 RW) über die neben den ganzen internen Shares auch notwendige Remote-Apps zur Verfügung gestellt werden.

Und da sind Verbindungsabbrüche auch OK? Bei DynDNS Schwenk wird da dann auch einfach die Verbindung weggerissen. Eher weniger toll.

TerminalServer über Gateway und ReverseProxy die von extern erreichbar sein müssen

Die Sessions sind dann auch weg wenn sich die externe IP ändert, klar.

eine Gateway-Group, mit 2xDSL als TIER1 und 1xLTE als TIER2, diese wird als aktives Gateway genutzt.

Und du weißt jetzt genau was mit deinem "abgehenden" Traffic passiert? Dir ist schon klar, dass bei dem Setup und bei Nutzung von diesem in Regeln und als Default Gateway der Traffic unkontrolliert mal über DSL1 und mal über DSL2 zurückläuft und die Pakete dann munter mal von IP1 und mal von IP2 kommen?

in diesem Fall tut es mir leid, wertvolle Zeit gestohlen zu haben.

Keine Zeit nein, aber ich habe den Eindruck du verstehst einfach meine Punkte nicht, dass du hier wahllos "loadbalancing" nutzt ohne zu wissen, was das genau an Pros und KONs mitbringt und ohne das vorher durchdacht zu haben, was man haben will.

Ich hätte dir einfach statt dem ganzen LB Gedöns empfohlen:

DSL1: Webseiten von außen, Aller ausgehender Traffic vom LAN, MX 20 Backup
DSL2: VPN von außen, MX 10 von extern
LTE: Failback für DSLx bzgl. ausgehendem Traffic, Notfall-VPN von außen (per OVPN geswitched), Webseiten von mir aus per DynDNS und MX 100 Backup (extrem niederprior)

Also manuelle Verteilung ohne irgendwelche obskuren Gateway Gruppen LB/FO Konstellationen sondern klar getrennte DSL Geschichten um die Performance zu verbessern und notfalls halb-automatisch Schwenk auf LTE machen zu können.
Oder sich eben extern nen LB für die Webseiten und ggf. MX zu besorgen.

BTW: Mail reagiert höllisch darauf, wenn sie von verschiedenen IPs versendet wird, die kein MX sind und/oder deren IP/DNS Kombo nicht übereinstimmt. Ich hoffe ihr habt zum Versenden nen externes MailGW bei dem IP Chaos ;)

Grüße

Ximix

Hallo,

danke für deine ausführliche Antwort.
Ja wir haben uns bewusst dazu entschlossen unsere Daten im Haus zu haben und nicht in irgendeinem Rechenzentrum extern - zumindest für jetzt und die nächsten Jahre.
Dass das alles nicht hochprofessionell ist, ist mir klar. Aber danke auch dafür, dass du mir mal aufgezeigt hast, wie man das richtig machen sollte - damit werde ich mich auf jeden Fall beschäftigen. Wir sind nur ne kleine Jugendhilfe-Einrichtung mit ca 120 Mitarbeitern, kein großer Technik-Konzern.

Wir nutzen auch kein klassisches DynDNS mit irgendeinem fremd-Domain-Namen. Der DynDNS-Client der pfsense trägt die IP direkt in das externen DNS beim Domain-Hoster ein.

In den kommenden Sommerferien ist wenig los bei uns, da teste ich das mal durch und notfalls trenne ich die Leitungen so wie vorgeschlagen und gehe nicht über loadbalancing.

Danke Dir.

JeGr

@Ximix said in externe IP bei 2 x DSL + LTE Backup:

Wir sind nur ne kleine Jugendhilfe-Einrichtung mit ca 120 Mitarbeitern, kein großer Technik-Konzern.

Das finde ich nicht gerade klein, gerade dann bei solcher Mitarbeiter Zahl und wenn die Leute auf die Lauffähigkeit von Mail und Co angewiesen sind, finde ich das Auslagern in ein DC oder zumindest Redundanz notwendig. Und diese sollte - das habe ich versucht aufzuzeigen - durchdacht geplant und ausgelegt sein. Da euch am Standort wohl leider die Hände gebunden seid (was Anschlüsse etc. angeht) wäre das eben durchaus zu berücksichtigen, dass man sich hier vielleicht umorientieren müsste oder schauen, was an Anschlüssen noch möglich wäre (Richtfunk, Narrowband WiFi o.ä.)

Der DynDNS-Client der pfsense trägt die IP direkt in das externen DNS beim Domain-Hoster ein.

Gemeint ist einfach, dass DynDNS für einen anderen Anwendungsfall konzipiert wurde, weil alleine TTLs Caching von Domainnamen etc. etc. nicht dafür ausgelegt sind einen schnellen und sauberen Failover zu garantieren. Darum gehts mir dabei :)

In den kommenden Sommerferien ist wenig los bei uns, da teste ich das mal durch und notfalls trenne ich die Leitungen so wie vorgeschlagen und gehe nicht über loadbalancing.

Ich würde da definitiv zu raten, das zu "entbündeln" dann ist im Ausfall auch das Debugging einfacher und man kann entsprechend durchplanen, was muss gehen, was kann und was ist weniger wichtig und wie das entsprechend angebunden wird. Aber gerade wenn ihr Mail ins Haus sendet, solltet ihr da MX und Mailgateway checken, da reicht das kleinste Ärgernis schon und eure Mails werden zukünftig gerne mal als Spam geflaggt. Leider alles schon gehabt :/

Ximix

@JeGr said in externe IP bei 2 x DSL + LTE Backup:

Aber gerade wenn ihr Mail ins Haus sendet, solltet ihr da MX und Mailgateway checken, da reicht das kleinste Ärgernis schon und eure Mails werden zukünftig gerne mal als Spam geflaggt. Leider alles schon gehabt :/

Mails kommen direkt auf unsere per MX hinterlegte IP. Senden geht immer über den Hoster als Relay. Ich hatte das Vergnügen schon mal, eine Domain bzw IP von mehreren DNSBL-Listen und den Listen von Antiviren-Herstellern wieder raus zu bekommen - macht keinen Spaß und ist langwierig.

Gemeint ist einfach, dass DynDNS für einen anderen Anwendungsfall konzipiert wurde, weil alleine TTLs Caching von Domainnamen etc. etc. nicht dafür ausgelegt sind einen schnellen und sauberen Failover zu garantieren. Darum gehts mir dabei :)

So schnell muss das auch nicht sein. Selbst wenn das 30 Minuten dauern würde, wäre das in Ordnung für uns. Hab das jetzt mehrere Male getestet. Alle von mir getesteten externen DNS-Server lösen den Domainnamen innerhalb weniger Sekunden korrekt auf. Caching ist dann natürlich ne andere Sache.