Trotz Suche benötige ich kurzfristige Hilfe bzgl. Multi-PPPoE-Setup…

bax2000

Hallo Forum!

Ich bin hier absolut frisch, obwohl ich seit mehreren Jahren IP-Cop "benutzt" habe.
Der lief eben seit 5-6 Jahren problemlos in unserem bisherigen Büro.

Nun habe ich folgendes Problem/Aufgabe:

Wir haben nun 2 VDSL-Leitungen mit jeweils 60Mbit Down- und 6Mbit Upload.
Da wir als Grafikstudio täglich wirklich hunderte Megabyte an Daten auf verschiedenste
ftp-Server laden müssen, ist mir natürlich an einem funktionierenden Load Balancing gelegen.

Gerade der ftp-upload muss absulut maximiert werden - soweit möglich natürlich ;)

Ich habe also die aktuelle pfSense installiert und beide PPPoE-WAN-Anschlüsse unabhängig
voneinander einzeln getestet. Beide laufen problemlos.

Der Rechner hat drei Netzwerkkarten und ich kann die Leitungen passend zuweisen.

Was muss ich nun STEP-BY-STEP tun um ein funktionierendes Load-Balancing zu erreichen?

Sorry, ich bin sonst nicht unbedingt lesefaul oder sonstwie unwillig das Netz zu durchsuchen,
allerdings bleibt mir momentan unter dem Druck einer laufenden Firma keine andere Wahl als
einfach hoffnungsvoll zu fragen. ;)

Diverse Begriffe sind mir auch völlig fremd.

Aktuell sieht es so aus:

fxp0 - WAN
rl1 - LAN
opt1 - nothing (second VDSL-Modem in Bridged-Mode)

BIG thanx for ANY help!

bax2000

Nachtfalke

Hallo,

wenn du 2 VDSL Anschlüsse hast, dann hast du mit der pfsense nur folgende Möglichkeit des LoadBalancing und zwar im "Round Robin" Modus. Das bedeutet, die Datenpakete werden abwechselnd über beide WAN verteilt. Das Problem hierbei ist, dass du in diesem Modus maximal 6Mbit Upload pro Verbindung hinbekommen wirst. Wenn du natürlich 2 Verbindungen offen hats, dann kannst du theoretisch auch 2x 6Mbit/s hochladen.

Eine wirkliche Bündelung der beiden Anschlüsse - also 120MBit/s down und 12MBit/s hoch bekommst du nur hin, wenn dein Provider auf seiner Seite ebenfalls eine Kanalbündelung einrichtet. Das Ganze nennt sich dan MLPPP (MultiLink-PPP). Hierbei muss dein Provider als auch du die beiden Seiten der Leitungen jeweils gleich konfigurieren. Das lassen sich Provider bezahlen bzw. bieten diese dafür extra Tarife an.

Um LoadBalancing bei der pfsense einzurichten - wie im ersten Abschnitt beschrieben - musst du lediglich unter SYSTEM –> Routing --> Groups eine Gateway Gruppe erstellen, welche deine beiden VDSL Anschlüsse beinhaltet. Beide müssen den gleichen "Tier" haben.
Anschließend gehst du in die Firewall-Regeln deiner LAN Schnittstelle und konfigurierst dort als Gateway deine Gatewaygroup. Das ist alles.

Hinweis:
Einige Protokolle wie zum Beispiel https (Port 443/TCP) wollen kein LoadBalancing und es kommt zu Fehlern weil Anfragen auf eine gesicherte Verbindung von verschiedenen IP-Adressen kommen. Es empfiehlt sich also entweder "Sticky connection" in System --> Advanced zu aktivieren oder aber für solche "problematischen" Protokolle eine extra Firewall-Regel zu erstellen, welche lediglich WAN1 oder WAN2 als gateway hat.

Alternativ kannst du auch eine weitere Gateway Gruppe erstellen mit WAN1 und Tier1 und WAN2 und Tier2. In diesem Fall würde der Verkehr über WAN1 laufen bis dieser ausfällt und dann automatisch auf WAN2 umschalten (Failover).

LoadBalancing/Failover kurz erklärt:
Alle Gateways mit dem gleichen Tier-Wert verrichten LoadBalancing. Fallen alle Gateways von Tier1 aus, dann werden die gateways von Tier2 verwendet. Sollten auch diese ausfallen, kommt Tier3 ins Spiel uns so weiter. Kommt der Gateway eines höherwertigen Tier wieder online so wird dieser automatisch wieder genutzt.

Viel Erfolg!

bax2000

Danke für Deine guten Erklärungen!

Ich werde zunächst nur das Load Balancing einrichten. Failover und weitere Dinge kann ich dann
lediglich an den Wochenenden ausgiebig testen und dann hoffentlich auch irgendwann verstehen.

Kurz für mein Verständnis:
Wenn LB wie im ersten Abschnitt von Dir beschrieben funktioniert, so sollte doch theoretisch ein
ftp-Programm mit zwei gleichzeitigen Uploads beide Leitungen nutzen können - das ist zumindest
mein Ziel. pfSense sollte dann also jeden Upload auf eine der beiden Leitungen legen. Das ergäbe
dann ja die 2x6Mbit. Soweit denke ich doch richtig, oder?

Danke für Deine Hilfe!

Nachtfalke

@bax2000:

Danke für Deine guten Erklärungen!

Ich werde zunächst nur das Load Balancing einrichten. Failover und weitere Dinge kann ich dann
lediglich an den Wochenenden ausgiebig testen und dann hoffentlich auch irgendwann verstehen.

Kurz für mein Verständnis:
Wenn LB wie im ersten Abschnitt von Dir beschrieben funktioniert, so sollte doch theoretisch ein
ftp-Programm mit zwei gleichzeitigen Uploads beide Leitungen nutzen können - das ist zumindest
mein Ziel. pfSense sollte dann also jeden Upload auf eine der beiden Leitungen legen. Das ergäbe
dann ja die 2x6Mbit. Soweit denke ich doch richtig, oder?

Danke für Deine Hilfe!

Ja, theoretisch sollte das funktionieren. Theoretisch deswegen, weil pfsense nicht prüft, ob eine Leitung ausgelastet ist und dann die andere benutzt, sondern alles lediglich auf Round Robin Basisi passiert. Also nach "Zufall" immer abwechselnd die Leitung genutzt wird. Wenn du allerdings "Sticky connections" aktiviert hast, dann klappt es nicht. Dann wird eine Source IP - also ein Host aus deinem LAN - immer über eine WAN Schnittstelle geroutet. Und zwar funktionieren Sticky connections so:

Host A wird eingeschaltet und baut eine Verbindung ins Internet auf. Der Traffic wird per Round Robin einem WAN zugeordnet. Solange für Host A eine Verbindung in der Firewall existiert, werden alle folgenden Verbindungen für diesen Host auch über diese WAN Schnittstelle geroutet. Erst wenn für diesen Host keine aktive Verbindung mehr besteht, entscheidet die Firewall per Round Robin einen neuen WAN Gateway.

Also kurz gesagt:
1 PC, mehrere FTP Verbindungen, sticky connections nicht nutzen.

Grundsätzlich kannst du LB testen über:
www.pfsense.org/ip.php
und dort schnell hintereinander mit F5 refreshen. Die IP sollte sich ändern - jenachdem, welcher WAN genutzt wird.

bax2000

Es klappt! SUPER!

Nun kann ich mich nach und nach an weitere "Kleinigkeiten" heranwagen.

Werde mich dann sicherlich wieder mit der einen oder anderen Frage hier melden ;)

Danke nochmal für Deine kompetente und schnelle Hilfe!

bax2000

Kleine Frage meinerseits:

Wenn ich bei meiner jetzigen Konfiguration bleibe, benötige ich dann noch spezielle Einstellungen um auch den Ausfall einer Leitung zu "überstehen"?

Es gibt ja die Option der "Monitor IP". Das wird doch genutzt um die Erreichbarkeit zu prüfen, oder liege ich hier daneben?

Ist also diese failover-Funktionalität mit dem Eintragen passender Monitor-IPs auch schon erledigt? Wenn ja, welche IPs könnt Ihr mir empfehlen?

Oh je, mir raucht schon die Birne….. ;)

Nachtfalke

Gateways mit gleichem TIER machen LB und und automatisch auch failover. Wenn also von 2 GWs einer ausfällt bleibt noch ein GW übrig. pfSense führt dann auf diesen einen GW ein "RoundRobin" durch was wohl oder übel natürlich nur noch den einen aktiven "treffen" kann.

Die Monitor IP dient genau zu dem, was du sagst. Ist die Monitor IP nicht mehr erreichbar, gilt der GW als down - unter berücksichtigung der werte wie Down time, latency etc. Am sinnvollsten ist als Monitor IP der Gateway deines ISP weil das der erste Router ist, den alle deine Pakete durchlaufen müssen, wenn sie ins Internet wollen. Ist diese Router down, dann ist deine WAN Verbindung auch unbrauchbar/down.

Du kannst alternativ aber auch die Google DNS Server nutzen:
8.8.8.8
8.8.4.4
Diese funktionieren ganz gut - fallen diese Server natürlich aus, sind kurz nicht erreichbar etc. pp. dann können deine Pakete theoretisch dennoch ins Internet, aber pfsense deklariert diese als Down weil die Monitor IP nicht erreichbar ist.

bax2000

Hallo!

Nachdem heute einige unserer Mitarbeiter über ein ungewohnt langsames Internet geklagt haben bin ich auf folgendes Problem gestoßen:

1. Das System lief nach meiner letzten Rückmeldung durch.

2. Das LB hatte funktioniert (über die ip.php getestet)

3. Beide VDSL-Modems zeigen normale Betriebsbereitschaft und Verbindung mit Internet an

4. In den RRD-Grafiken wird mir für eine der beiden WAN's bei "Quality" ein fetter roter Bereich angezeigt und das LB scheint aktuell nicht zu funktionieren.
Der rote Bereich geht aber nicht bis an den rechten Rand der Grafik - siehe Screenshot.

Wenn ich das richtig verstehe hatte ja ein Modem über längere Zeit wohl keine Verbindung. Warum funktioniert es aber aktuell scheinbar auch nicht mit dem LB?
"Springt" das nicht wieder automatisch an wenn die Verbindung wieder steht?

Was kann sonst das Problem sein?

screen.jpg_thumb

Nachtfalke

Hallo,

ich hatte ein ähnliches Problem mit einem meiner 3 ADSL Anschlüsse. Nach der 24h Trennung verlor ein WAN die Verbindung und obwohl das Modem wieder da war, leitete pfsense keinen Verkehr über diesen Gateway. Ich kann nicht mehr genau sagen, woran das problem lag. Außerdem hatte ich teilweise Probleme, dass Gateways bei hoher Auslastung eine Hohe Latenz erzeugte die über dem Fehler-Limit lag und dann den Gateway abschaltete obwohl dieser nur eine höhere Latenz hatte.

Behoben habe ich diese Probleme durch die Justierung der "Down Time", "Packet Loss" und "High Latency" Variablen. Du kannst diese anpassen unter:
System –> Routing --> Gateway

Latency habe ich: 500/900ms
Packet loss: 30/50
Down: 10

Als LoadBalancing Action habe ich "High Latency or Packet Loss". (System --> Routing --> Groups)

Was ich durch die höheren Werte erreicht habe ist, dass pfsense nicht so empfindlich auf kurfristige "Probleme" reagiert. Letzten Endes möchte ich nur, wenn ein Gateway wirklich down ist, weil zum Beispiel die Telekom einen Kabeldefekt in der Straße hat oder technische Probelme, dass automatisch umgeschaltet wird. Die Option "Member Down" bezieht sich - soweit ich weiss - eher darauf, dass der Link down ist, also quasi das LAN Kabel abgezogen wurde oder der Port des LAN Kabels abgeschaltet wird.

Was in deinem Fall natürlich sein könnte ist, dass die "Monitor IP" nicht mehr erreichbar ist über Ping und deswegen der Gateway als "Down" angezeigt wird obwohl Modem und Verbindung vorhanden sind. Das ist die Problematik, die ich in meinem vorhergegangenen Post angesprochen habe - welche Monitor IP nutzt man.

bax2000

Danke Nachtfalke!

Das scheint zu funktionieren. Zumindest werden jetzt in beiden Grafiken wieder die normalen Pingzeiten
von ca. 42ms zu den Monitor-IP's angezeigt. Der rote Bereich ist also nach Übernahme der vorgeschlagenen
Werte weg. Bin mir nur noch nicht sicher ob LB wieder funktioniert. Zumindest zeigt mir die Testseite immer
die gleiche IP an.

Gruß!

slu

Sorry das ich hier so reinplatze.
Ein Group-Wan kann man nicht als default Gateway setzten, richtig?

Damit wäre nach wie vor ein Wan der default Gateway.

Nachtfalke

@slu:

Sorry das ich hier so reinplatze.
Ein Group-Wan kann man nicht als default Gateway setzten, richtig?

Damit wäre nach wie vor ein Wan der default Gateway.

Richtig.
Und unter SYSTEM –> Advanced gibt es irgendwo eine Funktion "Allow default gateway switching". Somit switcht auch der Default Gateway im Falle eines Failovers.

bax2000

Genau!
Unter System -> Advanced -> Miscellaneous

Das sollte ich dann wohl noch aktivieren, oder?

Gruß!

Nachtfalke

@bax2000:

Genau!
Unter System -> Advanced -> Miscellaneous

Das sollte ich dann wohl noch aktivieren, oder?

Gruß!

Der default Gateway ist - soweit ich weiss - nur für die pfsense selbst wichtig. Wenn dieser ausfallen würde, dann könntest du zum Beispiel keine neuen Snapshots installieren oder keine Packages auflisten und installieren.

Wenn ich mich recht entsinne kann diese Funktion im extremfall auch problematisch werden. Wenn alle WANs ausgefallen sind, switcht er eventuell auf die LAN Schnittstelle und da diese immer online ist, bleibt er dort "sitzen". Es kann aber gut sein, dass diesbezüglich schon nachgebessert wurde. Deswegen nur mal als Gedankenstütze.