[solved] zwei Fritzboxen, zwei pfSense - MultiWAN und CARP

nobanzai

Hi *,

ich habe hier

zwei Fritzboxen - eine 6490 Cable und eine 7580 VDSL mit den jeweiligen Internet-Verbindungen dahinter
zwei pfSense Router (V 2.4.2)
funktionsfähiges MultiWAN mittels zweier Routing-Gruppen
funktionsfähiges pfSync über ein eigenes IF
funktionsfähiges CARP für ausgehende Verbindungen über eine VirtualIP auf den LAN-IFs
funktionsfähige eingehende Verbindungen ohne CARP (d.h. nix geht mehr eingehend bei Ausfall eines der pfSense)

Was fehlt:

funktionsfähiges CARP für eingehende Verbindungen über eine VirtualIP auf den WAN-IFs

Ich habe auch für die beiden WAN-IFs der pfSense Router eine VirtualIP vergeben, aber irgendwie kriegen die Fritzboxen das überhaupt nicht hin und fangen an richtiggehend rumzuspinnen.
Wie es aussieht, haben die ein Problem damit, dass sie für eine IP auf einmal zwei MACs bekommen.

Daher:

Ich habe jetzt je zwei Einträge in den Netzverbindungen der Fritzboxen - beide haben dieselbe IP, aber verschiedene MACs.
Ich kann die IP in dem Eintrag mit der "virtuellen" MAC nicht auf die virtuelle IP ändern.
Die Anzeige der einzelnen pfSense-Router in den Netzwerkverbindungen hüpft ständig zwischen den beiden Einträgen hin und her.
Ich kann die Portfreigaben nicht auf die virtuelle WAN-IP setzen.
Damit funktioneren meine eingehenden Verbindungen nicht mehr.

Habe ich da irgendwo irgendwas vergessen oder kommen die Fritzboxen damit einfach nicht klar?

Danke für eure Hinweise!

Ciao.
Michael.

JeGr

dass sie für eine IP auf einmal zwei MACs bekommen.

Das tun sie auch nicht! Das ist nicht die Funktion von CARP. Die virtuelle IP hat eine virtuelle MAC Adresse.

Das hört sich gerade eher so an, als wäre das ggf. was falsch konfiguriert, allerdings hast du ja leider nicht so wirklich beschrieben, was du wie wo warum angeschlossen und konfiguriert hast :)

nobanzai

Hi,

danke für deine Antwort.

@JeGr:

dass sie für eine IP auf einmal zwei MACs bekommen.

Das tun sie auch nicht! Das ist nicht die Funktion von CARP. Die virtuelle IP hat eine virtuelle MAC Adresse.

Das hört sich gerade eher so an, als wäre das ggf. was falsch konfiguriert, allerdings hast du ja leider nicht so wirklich beschrieben, was du wie wo warum angeschlossen und konfiguriert hast :)

Die Fritzboxen glauben zumindest, dass sie für eine IP zwei MACs bekommen - sie zeigen das beide auch so an.
Das Anschlussschema sieht so aus:

Fritzbox 6490 (192.168.8.254) - LAN1 - pfSense1 - Opt2 (192.168.8.2)
- LAN2 - pfSense2 - Opt2 (192.168.8.3)
Virtual IPs für CARP 192.168.[8|9].5
Fritzbox 7580 (192.168.9.254) - LAN3 - pfSense1 - Opt1 (192.168.9.2) /
- LAN4 - pfSense2 - Opt1 (192.168.9.3) /

Logisch ist Opt1 als "CABLE" benannt und Opt2 als "VDSL".

Ciao.
Michael.

nodau

hi,

wenn du carp nutzt, ist eine sense immer im hot standby (carp backup/slave). der carp master macht die ganze arbeit. fällt der master aus, springt der slave ein.

was willst du denn eigentlich erreichen? multiwan loadbalancing? ha cluster?

konnte das nicht so aus herauslesen ;-)

gruß

nobanzai

Hi,

hatte ich im ersten Posting beschrieben. Es funktioniert ja alles prinzipiell bis auf eingehenden Traffic, der nach meiner Idee per Portforwarding an die pfSensen gehen soll - und zwar an den jeweiligen Master. Und dafür hatte ich die CARP-IP eingerichtet in der Hoffnung, genau die nutzen zu können, um darauf das Portforwarding zu richten.
Klar ist, dass man von außen beide Fritzbox-Adressen kennen muss, um beim Ausfall der einen rein zu kommen, aber das ist nicht das Problem. Also von außen soll es kein Loadbalancing oder automatisches Failover für die Fritzboxen geben - erst ab den pfSensen.

Ciao.
Michael.

nodau

also, carp funktioniert nur mit einem master und einem slave. im prinzip richtest du auf einer sense 2 gateways ein. fällt der master aus, springt der slave ein. das carp vib kann nur auf einer sense aktiv sein, da du sonst im netz die sepbe ip 2x hast, was zu fehlern führt.

eine saubere ha multiwan konfiguration sieht so aus.

fb1 x.x.8.254
fb2 x.x.9.254
pf1 hat folgende interfaces: wan (wan1), lan, opt1 (wan2), opt2 (sync), ggf. opt3 (dmz)
wan1 x.x.8.2 mit gateway x.x.8.254
wan2 x.x.9.2 mit gateway x.x.9.254
lan ohne gateway

config pf1:
carp auf wan1 x.x.8.1, als exposed host auf fb1
carp auf wan2 x.x.9.1, als exposed host auf fb2
carp auf lan, diese ip ist dein standardgateway im lan.

jetzt kannst du nat und die firewallregeln pro wan einrichten

gateway groups erstellen

config pf2:
sämtliche einstellungen werden per sync auf die pf2 übertragen

mit dieser konfiguration (nutze ich auch) hast du kein problem mit doppelten ip und mac adressen.

gruß

nobanzai

Hi,

@bahsig:

also, carp funktioniert nur mit einem master und einem slave. im prinzip richtest du auf einer sense 2 gateways ein. fällt der master aus, springt der slave ein. das carp vib kann nur auf einer sense aktiv sein, da du sonst im netz die sepbe ip 2x hast, was zu fehlern führt.

Ja, aber genau das habe ich ja.
Die beiden pfSense-Router haben 8.2 und 8.3, die Fritzbox hat 8.254 und das CARP-IF hat 8.5.
Bei CARP muss ich ja auf dem realen IF schon eine IP aus demselben Subnetz haben.
Und ja, das CARP-IF ist immer nur auf einem pfSense aktiv.

Exakt so funktioniert das auf der LAN-Seite mit dem 7er Subnetz.

Deswegen verstehe ich auch nicht, warum es auf der WAN-Seite nicht genauso klappen will.

@bahsig:

eine saubere ha multiwan konfiguration sieht so aus.

fb1 x.x.8.254

fb2 x.x.9.254

pf1 hat folgende interfaces: wan (wan1), lan, opt1 (wan2), opt2 (sync), ggf. opt3 (dmz)

wan1 x.x.8.2 mit gateway x.x.8.254

wan2 x.x.9.2 mit gateway x.x.9.254

lan ohne Gateway

Jepp, ist so.

@bahsig:

config pf1:
carp auf wan1 x.x.8.1, als exposed host auf fb1
carp auf wan2 x.x.9.1, als exposed host auf fb2
carp auf lan, diese ip ist dein standardgateway im lan.

"exposed host"?
Das habe ich auf keiner der beiden Fritzboxen als Einstellung gesehen!?!?

@bahsig:

jetzt kannst du nat und die firewallregeln pro wan einrichten

gateway groups erstellen

Firewallregeln und Gateway Groups existieren schon.
Das Einzige, was ich noch erreichen muss, ist dass die Fritzboxen die virtuelle IP überhaupt sehen.
Sonst kann ich darauf keine Portfreigaben einrichten.

@bahsig:

config pf2:
sämtliche einstellungen werden per sync auf die pf2 übertragen

Das Übertragen der Einstellungen läuft über das CARP-IF auf der LAN-Seite.
Das klappt auch ohne Probleme.

@bahsig:

mit dieser konfiguration (nutze ich auch) hast du kein problem mit doppelten ip und mac adressen.

gruß

Irgendwie habe ich mich wohl komisch ausgedrückt.
Nur die Fritzboxen sehen überhaupt diesen seltsamen Mischmasch - eine IP mit zwei MACs, zwei Namen mit derselben IP usw.
Kein anderes Gerät, das ich in dieses Subnetz hänge, hat das Problem.
Von einem Notebook im 192.168.8er Subnetz kann ich auch die virtuelle IP 192.168.8.5 problemlos erreichen.

Irgendwo habe ich vermutlich einen Knoten im Kopf 8-(

Danke und ciao.
Michael.

nobanzai

Ok, Problem gelöst.

Man gebe einen Sch… auf die Anzeigen von Heimnetzübersicht und Netzverbindungen der Fritzboxen, sondern gebe bei den Port-Forwardings gnadenlos die gewünschte IP des Rechners ein, auf den geforwardet werden soll.
Man sollte nicht vergessen, bei den Firewallregeln von "WAN address" auf die CARP-Adresse umzustellen :(

Danke an alle, die mitgelesen und Tips gegeben haben!

Ciao.
Michael.

JeGr

Hallo Michael,

habe ich nun gestern auch live bei einem Kunden gesehen. Die Heimnetzübersicht schwankt da die ganze Zeit in der Ansicht zwischen der CARP VIP und der Interface Adresse hin und her. Im Prinzip aber wie du festgestellt hast völlig egal, es zählt das, was in der Freigabe der Box eingerichtet ist und wenn man hier nicht irgendeinen internen Namen der Box sondern einfach hart die CARP VIP angibt, reicht die FB das auch an die IP durch, selbst wenn sie selbst in der Anzeige irgendwelchen Quark erzählen will :)

Ergo: exposed Host Setting in den Internet Freigaben auf die richtige IP setzen und es läuft. ;)

Gruß

nobanzai

@JeGr:

Hallo Michael,

habe ich nun gestern auch live bei einem Kunden gesehen. Die Heimnetzübersicht schwankt da die ganze Zeit in der Ansicht zwischen der CARP VIP und der Interface Adresse hin und her. Im Prinzip aber wie du festgestellt hast völlig egal, es zählt das, was in der Freigabe der Box eingerichtet ist und wenn man hier nicht irgendeinen internen Namen der Box sondern einfach hart die CARP VIP angibt, reicht die FB das auch an die IP durch, selbst wenn sie selbst in der Anzeige irgendwelchen Quark erzählen will :)

Ergo: exposed Host Setting in den Internet Freigaben auf die richtige IP setzen und es läuft. ;)

Gruß

Allerdings haben wohl alle Fritzboxen noch ein Problem, an dem AVM gerade dran ist:
Sie sind nicht in der Lage, Portforwarding auf eine IP außerhalb ihres eigenen Subnets zu machen.
Das Problem habe ich nicht, weil meine IP im selben Netz liegt, aber das könnte dem einen oder anderen schon zu schaffen machen.

Siehe https://avm.de/service/fritzbox/fritzbox-7580/wissensdatenbank/publication/show/3298_FRITZ-Box-meldet-Die-IP-Adresse-ist-nicht-verfuegbar/
–-----------------------
2 IP-Adresse liegt in anderem IP-Netzwerk (Subnetz)

Durch einen Fehler in FRITZ!OS können in der FRITZ!Box keine Portfreigaben für Geräte angelegt werden, die sich in einem nachgeschalteten IP-Netzwerk (Subnetz) befinden, z.B. im IP-Netzwerk eines mit der FRITZ!Box verbundenen, zusätzlichen Routers.

Wir arbeiten an einer Lösung und werden diese so schnell wie möglich in einem FRITZ!OS-Update für die FRITZ!Box bereitstellen. Einen Termin für das Update können wir noch nicht nennen.

Ciao.
Michael.

JeGr

Sie sind nicht in der Lage, Portforwarding auf eine IP außerhalb ihres eigenen Subnets zu machen.

Das ist ja generell ein Routing Problem. Dein Routing Ziel kann nie außerhalb deines Netzes liegen, sonst weiß das Paket ja nicht wie es da hin kommen soll? Oder verstehe ich deren KB Eintrag nicht? Oder ist damit gemeint trotz geroutetem nachgestellten Netz kann sie das nicht, weil sie die Routen nicht akzeptiert? Das würde dann Sinn machen.

Leider hat die FB mehrere solche Probleme, wie bspw. auch Traffic an ein weitergereichtes IPv6 Netz zu routen :( DAS wäre wichtiger, wenn der Paketfilter dort endlich mal abschaltbar wäre…

nobanzai

@JeGr:

Sie sind nicht in der Lage, Portforwarding auf eine IP außerhalb ihres eigenen Subnets zu machen.

Das ist ja generell ein Routing Problem. Dein Routing Ziel kann nie außerhalb deines Netzes liegen, sonst weiß das Paket ja nicht wie es da hin kommen soll? Oder verstehe ich deren KB Eintrag nicht? Oder ist damit gemeint trotz geroutetem nachgestellten Netz kann sie das nicht, weil sie die Routen nicht akzeptiert? Das würde dann Sinn machen.

Ja, das ist wohl gemeint - alles andere würde ja auch wirklich keinen Sinn machen, wie du schon sagst.

@JeGr:

Leider hat die FB mehrere solche Probleme, wie bspw. auch Traffic an ein weitergereichtes IPv6 Netz zu routen :( DAS wäre wichtiger, wenn der Paketfilter dort endlich mal abschaltbar wäre…

Ui, das ist mir noch nicht mal aufgefallen bisher 8-(

Ciao.
Michael.

JeGr

Ui, das ist mir noch nicht mal aufgefallen bisher 8-(

Ist wohl leider immer noch so. Ich hatte das erst vor 2 Wochen selbst bei unserer Labor 6490 Cable versucht, endlich v6 durchzurouten. Positiv: man bekommt es endlich recht gut hin, dass man ein /64er auf jedem Interface Bein abbekommen hat (WAN bekommt ein /64, nutzt aber zum routen die fe80, LAN, TEST, TEST2 bekamen alle durch ID 0, 9, f und Track Interface dann eigene Netze).
Die schlechte Geschichte war dann: abgehend klappt der ganze Kram, aber eingehend kann man sich zu Tode grützen, denn die nachgelagerten Netze werden im IP Filter der Fritzbox einfach nicht durchgelassen. Man muss wirklich MANUELL jedes einzelne Host Suffix eintragen. Erst nachdem ich den 64 Bit Host Teil der IP6 von einem Testsystem zur Freigabe in der Fritzbox eingetragen habe, konnte man von außen halbwegs die v6 Strecke pingen. Und ich habe nur begrenzt bis gar keine Lust, jedes einzelne Gerät, dass potentiell eine v6 erhalten kann jedes Mal in der Fritzbox "quasi" anzumelden. :( Es fehlt die Möglichkeit einfach ein gesamtes Netz/Prefix freizugeben bzw. durchzurouten. :(

nobanzai

@JeGr:

Ui, das ist mir noch nicht mal aufgefallen bisher 8-(

Ist wohl leider immer noch so. Ich hatte das erst vor 2 Wochen selbst bei unserer Labor 6490 Cable versucht, endlich v6 durchzurouten. Positiv: man bekommt es endlich recht gut hin, dass man ein /64er auf jedem Interface Bein abbekommen hat (WAN bekommt ein /64, nutzt aber zum routen die fe80, LAN, TEST, TEST2 bekamen alle durch ID 0, 9, f und Track Interface dann eigene Netze).
Die schlechte Geschichte war dann: abgehend klappt der ganze Kram, aber eingehend kann man sich zu Tode grützen, denn die nachgelagerten Netze werden im IP Filter der Fritzbox einfach nicht durchgelassen. Man muss wirklich MANUELL jedes einzelne Host Suffix eintragen. Erst nachdem ich den 64 Bit Host Teil der IP6 von einem Testsystem zur Freigabe in der Fritzbox eingetragen habe, konnte man von außen halbwegs die v6 Strecke pingen. Und ich habe nur begrenzt bis gar keine Lust, jedes einzelne Gerät, dass potentiell eine v6 erhalten kann jedes Mal in der Fritzbox "quasi" anzumelden. :( Es fehlt die Möglichkeit einfach ein gesamtes Netz/Prefix freizugeben bzw. durchzurouten. :(

Gut zu wissen - danke für die Info.
Da kann man sich schon mal totsuchen 8-<

Ciao.
Michael.