pfsense HA an Telekom Glasfaser Anschluß
-
Hallo liebes Forum,
ich betreibe eine pfsenseCE VM auf proxmox VE im 1.OG. Mein Internetanschluss ist ein TCom Glasfaser 300 mit einer IPv4/6 , PPoE/dhcp6
Mein "HA" sieht aktuell so aus, dass ich bei Wartungen am Host einen spare PVE einschalte, ein Backup der pfsense-VM einspiele, boote und die Kabel LAN/WAN umstecke.
Im Keller steht mein Haupt ProxmoxVE Server. Diese ist per Switch -> Powerlan -> Switch angebunden (hier gibt es keine Probleme, Neubau, Powerlan 100% stabil). Auf diesem würde ich gerne eine 2. VM aufsetzen und diese mit der VM im 1.OG als HA betreiben. Da ich 2 Managed Switches habe und genug Ports frei, wollte ich die CARP WAN und SYNC Geschichte per VLAN Regeln und mir so die Installation eines 3. Switches sparen und den 3. PVE Host im 1.OG. Ich denke das dürfte wie auf der Zeichnung funktionieren.
Wo ich nach lesen des Wikis ( https://docs.netgate.com/pfsense/en/latest/recipes/high-availability.html ) nicht weiterweiß, sind die 2 WAN IPs. Ich kann keine 2 WAN IPs fest vergeben.
Wie mach ich das mit meinem 1 IP DHCP Anschluss?
Ist das Vorhaben über VLANS wie in der Zeichnung realisierbar? Die gestrichelten Linien sind nur "logische" Verbindungen, die physischen laufen über die SwitchesDanke und Grüße!
-
Ich denke die Antwort nun hier im englischen Teil gefunden zu haben
https://forum.netgate.com/topic/185693/ha-setup-with-multi-wan-and-dhcp-guide -
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
ich betreibe eine pfsenseCE VM auf proxmox VE im 1.OG. Mein Internetanschluss ist ein TCom Glasfaser 300 mit einer IPv4/6 , PPoE/dhcp6
Meinst du eine statische v4/v6? Oder einfach nur DualStack?
Mein "HA" sieht aktuell so aus, dass ich bei Wartungen am Host einen spare PVE einschalte, ein Backup der pfsense-VM einspiele, boote und die Kabel LAN/WAN umstecke.
Im Keller steht mein Haupt ProxmoxVE Server. Diese ist per Switch -> Powerlan -> Switch angebunden (hier gibt es keine Probleme, Neubau, Powerlan 100% stabil). Auf diesem würde ich gerne eine 2. VM aufsetzen und diese mit der VM im 1.OG als HA betreiben. Da ich 2 Managed Switches habe und genug Ports frei, wollte ich die CARP WAN und SYNC Geschichte per VLAN Regeln und mir so die Installation eines 3. Switches sparen und den 3. PVE Host im 1.OG. Ich denke das dürfte wie auf der Zeichnung funktionieren.
Die Frage ist, ob es hier sinnvoller ist, die pfSense VM(!) als HA auszulegen oder einfach deinen Proxmox - von dem du ja anscheinend 2 hast? - nicht einfach so zu konfigurieren, dass du die VM Live migrieren kannst und damit einfach Redundanz über die Hypervisoren hast. Natürlich kann man eine zweite VM machen. Aber wenn du sauberes Backup der VM, Snapshotting via VM und Redundanz über die HV hast, wäre es eigentlich leichter, das in der Schicht darunter zu regeln, als die pfSense mit HA zu nutzen.
Wo ich nach lesen des Wikis ( https://docs.netgate.com/pfsense/en/latest/recipes/high-availability.html ) nicht weiterweiß, sind die 2 WAN IPs. Ich kann keine 2 WAN IPs fest vergeben.
Das kann man workarounden, ist aber genau ein Problem, weshalb ich obiges vorschlagen würde. Wenn du nicht mehrere IPs hast, ist es eigentlich sinnvoller, die Internetverbindung von einem Router/Gerät davor machen zu lassen und dann das HA-Pärchen dahinter mit einem Transfernetz im privaten Adressraum aufzusetzen.
Wie mach ich das mit meinem 1 IP DHCP Anschluss?
siehe oben.
Ist das Vorhaben über VLANS wie in der Zeichnung realisierbar? Die gestrichelten Linien sind nur "logische" Verbindungen, die physischen laufen über die Switches
Prinizipiell kannst du da viel/alles via VLAN hinbekommen. Aber den Internetanschluß nicht. Dein Problem ist dann, dass das HA dir an der Stelle NUR die Redundanz bringen würde, wenn dir der PVE wegbricht und die zweite VM dann übernimmt. ABER du hast kein sauberes Failover mit automatischem "es geht alles einfach weiter ohne Ausfall", sondern du hast einen definitiven STOP. Nämlich dann wenn VM1 down geht, VM2 übernimmt aber kein Internet hat und erst per PPPoE/DHCPv6 dann sich Internet holen muss. Heißt du hast auf jeden Fall einen Verbindungsabriß und dir bricht irgendwas zusammen (VPN, Verbindungen etc.)
Wenn du den Weg gehst, die beiden HVs so zu bauen, dass die eine Live Migration der VM machen können, dann klappt das ggf. ganz ohne Ausfall, weil sich ja nichts an deiner Firewall ändert, außer dass die kurz den PVE wechselt. Aber die VM, die IPs etc., das ist alles gleich.
Wenn du also nicht das Glasmodem durch einen Router davor austauschen/umkonfigurieren möchtest und nicht unbedingt 2 pfSense VMs mit CARP/HA bauen möchtest, würde ich hier eher sagen: Versuche Redundanz und HA via Proxmox zu erreichen, nicht über 2 VMs.
Wenn du noch Fragen hast, gern :)
Cheers!
-
@JeGr said in pfsense HA an Telekom Glasfaser Anschluß:
Meinst du eine statische v4/v6? Oder einfach nur DualStack?
DualStack
Die Frage ist, ob es hier sinnvoller ist, die pfSense VM(!) als HA auszulegen oder einfach deinen Proxmox - von dem du ja anscheinend 2 hast? - nicht einfach so zu konfigurieren, dass du die VM Live migrieren kannst und damit einfach Redundanz über die Hypervisoren hast. Natürlich kann man eine zweite VM machen. Aber wenn du sauberes Backup der VM, Snapshotting via VM und Redundanz über die HV hast, wäre es eigentlich leichter, das in der Schicht darunter zu regeln, als die pfSense mit HA zu nutzen.
Proxmox HA vernünftig aufgesetzt sind 3 nodes minimum, da man mit 2 nodes bei Ausfall kein Quorum (Mehrheit) zustande kommt und der Cluster read only geht (also die vms laufen, aber man kann nicht migrieren oder neue starten). Das kann man jedoch händisch "arbeitsfähig bleiben" (expected 1), wenn 1 node down ist.
Da ich meinen potenten Haupt-PVE-Server nicht in dein Cluster bringen will, auch nicht die beiden pfsense PVE ständig online, würde ich dann zu einem "degraded" cluster Betrieb tendieren. Bei bedarf fahre ich den 2. node hoch, migriere die VM, expect 1 setzen und fahre den 1. node runter/führe dort die Wartung durch. Danach alles zurück migrieren, node 2 wieder down
Ein 3 Port WAN VLAN auf einem Switch und da dann Modem uplink, WAN Node 1 und WAN Node 2 dran. bei Life Migration dürfe dem Modem dann der Wechsel des nodes nicht auffallen (selbe Mac WAN pfsense)
Das müsste gehen. Hub dazwischen wäre doch dann simpler?
Wenn du also nicht das Glasmodem durch einen Router davor austauschen/umkonfigurieren möchtest
Das Szenario hatte ich auch schon, dann läuft aber entweder ein Router statt dem Modem oder ein Modem, 1 Router, 2 PVE. Double NAT hat man so oder so, das wollte ich vermeiden. Der erste Router müsste dann ja auch auf "Durchzug" stehen und alles durchreichen.
Wenn du noch Fragen hast, gern :)
Cheers!
Danke! Wenn mein Gedanke zum "downgraded" Proxmox Cluster mit 2 Nodes und VLAN für sauberen WAN switch bei Migration sauber funktioniert aus deiner Sicht, wäre das mein Weg, den ich teste.
Danke sehr für deinen Input und den Denkanstoß
Grüße!
-
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Proxmox HA vernünftig aufgesetzt sind 3 nodes minimum, da man mit 2 nodes bei Ausfall kein Quorum (Mehrheit) zustande kommt und der Cluster read only geht (also die vms laufen, aber man kann nicht migrieren oder neue starten). Das kann man jedoch händisch "arbeitsfähig bleiben" (expected 1), wenn 1 node down ist.
Jein. Ja du hast mit vernünftig aufgesetzt recht, Homelab ist aber != Business best-case setup. 2 Nodes gehen absolut und können auch bei Ausfall reagieren. Ausfall muss dann eben korrekt definiert und Fencing konfiguriert sein. Das geht. Und selbst wenn nicht, semi automatisch geht immer. :)
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Bei bedarf fahre ich den 2. node hoch, migriere die VM, expect 1 setzen und fahre den 1. node runter/führe dort die Wartung durch. Danach alles zurück migrieren, node 2 wieder down
Das geht natürlich auch.
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Ein 3 Port WAN VLAN auf einem Switch und da dann Modem uplink, WAN Node 1 und WAN Node 2 dran. bei Life Migration dürfe dem Modem dann der Wechsel des nodes nicht auffallen (selbe Mac WAN pfsense)
Mit Nodes meinst du die Proxmoxe? Ja klar, da reicht ein Hub oder "dummer" Switch mit simplem VLAN. Hauptsache die Nodes haben physikalisch das WAN gleich bei sich und könnten auf egal welchem Node/WAN dann via PPPoE das Interface anfahren zur Einwahl.
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Das müsste gehen. Hub dazwischen wäre doch dann simpler?
In der Tat :)
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Das Szenario hatte ich auch schon, dann läuft aber entweder ein Router statt dem Modem oder ein Modem, 1 Router, 2 PVE. Double NAT hat man so oder so, das wollte ich vermeiden. Der erste Router müsste dann ja auch auf "Durchzug" stehen und alles durchreichen.
Alle Welt schreit immer Zeter und Mordio bei Doppel NAT. Wenn du aber im Homelab kein Mega-Gamer mit Extrem-Anspruch bist, der P2P Port mäßig super-direkt überall erreichbar sein muss, ist egal wie viel NAT völlig egal dazwischen. Und bei einem Cluster-Paar ist ein vorgeschalteter Router eben "Pflicht" oder zumindest best-case setup, da man ansonsten auf dem secondary node kein Internet hat, was den Betrieb stark beeinträchtigt. Zum einen kann er dann nicht sofort übernehmen wie schon gesagt, zum anderen geht dir gerade einer der Pluspunkte vom Clustering kaputt: einfaches Failover und Update bei neuen Versionen. Normalfall: Update 2nd node, durchbooten, testen - hey geht - switchen auf 2nd node, 1st in maint setzen, upgraden, testen, zurückschwenken. Normaler Fall: 2x 1-3s Ausfall/Ruckeln. Best Case du merkst gar nix. Geht aber nicht, wenn nicht beide Nodes unabhängig Internet haben :/
Und die "Doppel-NAT" ist kein Drama, da du auf dem Router davor exposed Host machst, du bekommst also trotzdem alles ab (außer der Router kann so gar nix - dann verbrennen und anderes Gerät). Aber gehen wir von ner frittierten Fritte aus, dann exposed Host man die VIP und kann dann auf den einzelnen pfS Nodes trotzdem sauber (durch das NAT davor) ins Netz, während alles von extern via Exposed Host auf die VIP auf den aktiven Node reingeballert wird. Pluspunkt (bei einigen ISPs): Du setzt den/einen kompatiblen Providerrouter ein, den sie entweder selbst ersetzen, warten oder supporten müssen und sie können sich nicht rausmurksen wenns mal Probleme gibt.
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Danke! Wenn mein Gedanke zum "downgraded" Proxmox Cluster mit 2 Nodes und VLAN für sauberen WAN switch bei Migration sauber funktioniert aus deiner Sicht, wäre das mein Weg, den ich teste.
Klar feuer frei :) Wenn die 2 kleinen Nodes entsprechend verkabelt sind, sollte das kein Thema sein.
@chris1284 said in pfsense HA an Telekom Glasfaser Anschluß:
Danke sehr für deinen Input und den Denkanstoß
Immer gern :)
Aber es hat schon seinen Grund, warum selbst Netgate Personal sagt, dass im Homelab/zu Hause Clusterbetrieb einfach zu oversized ist. Da bist du so am puzzeln und basteln dass das geht... uff. :DCheers!
