@codec said in 2 x pfSense in HA als exposed Host hinter Fritz!Box 7590 mit shared IP:
Hallo JeGr vielen Dank für Deine ausführliche Antwort, die mich in mehrfacher Hinsicht ins Grübeln gebracht hat.
Nachdenken ist immer gut, selbst wenn das hinterher dazu führt, dass man trotzdem wie gewünscht verfährt und die anderen Punkte verwirft - man hat evaluiert und entschieden. :)
Wenn ich die FritzBox weg haben möchte, was habe ich dann als Modem?
Was auch immer dein Provider benötigt. DSL-Modem, Kabel-Modem, whatever. Durch Gerätefreiheit müssten dir die meisten Provider auf Wunsch die Möglichkeit geben, eigene Geräte einzusetzen, allerdings mal mehr oder weniger gut unterstützt. Es irritierte mich da eher, dass VoIP auf der FB genutzt werden soll aber trotzdem dahinter noch eine PBX die sich dann mit der FB verbindet und die nutzt - den Case verstehe ich nicht ganz. Dann könnte die PBX ja direkt die Nummern vom Provider verbinden und managen, anstatt das über 2-Ecken zu machen? Dann würde sich auch das Setup der FB vereinfachen und im Falle eines Austauschs muss man lediglich exposed Host und Routing kurz einstellen, fertig, läuft wieder :)
Wenn ich eine zweite Leitung bestellen würde, dann hätte ich den SPoF nur zu dieser Box verschoben. Oder denke ich da falsch?
Wenn ihr nur ADSL über diesen Provider und die Box bekommt, dann ja. Auf der anderen Seite ist der SPoF dann im Spielfeld des Providers - gegenüber dem man normalerweise ja diverse Verträge hat mit Vertragsstrafen und Regressmöglichkeit. Wenn einem die einzige Fritzbox stirbt oder die Mucken macht, dann bekommt man erstmal (vielleicht auf Verdacht) eine Neue. Je nachdem wie der Provider das aber dreht, hängt man bis dahin auf dem Trockenen und er leugnet erstmal Probleme bei sich (und schiebt es auf Mißkonfiguration der Box). Ist nur ein Gedankenanstoß.
Sinnvoller wäre natürlich eine zweite Leitung über ein anderes Medium. Sei es Kabel, anderes DSL etc. Das war die eigentliche Intention. Wenn das nicht möglich ist, kann das auch einfach so sein, dann ist einfach die Frage, wie gut kann ich den Provider in die Finger kriegen, wenn was mit der Box oder dem Anschluß nicht geht und mein eigenes Netz so gut es geht ausfallsicher ist.
Unsere ESXi Hosts laufen nicht im Cluster also bringt der Ausfall eines Hosts immer größere Probleme, da die Kapazitäten des jeweils anderen Hosts nicht reichen alle VM's zu betreiben.
Das hatte ich aus dem Text vermutet, aber es war nicht klar, daher die Frage. Gut, dann ist der CARP Cluster auf pfSense Ebene durchaus berechtigt, wenn es unbedingt virtuell laufen soll :)
Das ist aber bekannt und akzeptiert. Bei einem Ausfall des einen Hosts, der z.B. auch die Windows VM mit dem DHCP Server hat, gibt es dann aber schon bald Probleme bei neu startenden PC's. Deshalb wäre z.B. ein redundanter DHCP und DNS Server schon wichtig.
Sollte die pfSense dann (zumindest für Clients) DHCP und DNS übernehmen? Würde sich in diesem Szenario empfehlen. Mit Domain Override für die AD Domain (sofern vorhanden) auf den Windows DNS.
Wenn ich nun das Risiko eines FB Ausfalls eingehe (eine Ersatz-FritzBox ist hier in der Stadt schnell besorgt, die Konfig wird nach jeder Änderung gesichert),
Das meinte ich mit Gefahrenabwägung, so gehen wir das mit unseren Kunden auch immer Schrittweise durch. Es nutzt der schönste Cluster nichts wenn vorne alles durch einen 5€ Router durch muss der durchschmort ;) Aber dann ist das soweit sinnvoll abgedeckt, richtig.
sollte ich dann einen CARP Cluster aufbauen in Hardware oder als VM, das muss ich noch überlegen, und dessen virtuelle IP dann als Exposed Host in der FB eintragen oder gibt es eine bessere Technik?
Meine Empfehlung wäre bei der Firewall eigentlich schon dedizierte Hardware um die Problempunkte zu minimieren. Wenn du schon beschreibst, dass die beiden VM Hosts overcomitted sind (zumindest aus Clustersicht), würde mir das zu denken geben und ich würde an der Stelle eher dazu neigen, die Firewalls dann als Cluster in (angepasster) Hardware abzubilden, um bei Ausfall oder Fehlverhalten oder auch Fehlkonfiguration des Hypervisors nicht plötzlich ganz ohne Netz dazustehen (leider schon bei einigen Kunden in virtuellen Umgebungen erlebt).
Wenn euer Hausanbieter euch intern (A)DSL via FB zur Verfügung stellt (PPPoE vermutlich?), dann käme es drauf an, ob die FB noch was anderes als Verbindungsaufbau macht. Wenn man bspw. auf der FB keinerlei WLAN, NAS oder sonstiges braucht und das VoIP Thema komplett auf die Asterisk verlagert, macht die Box eigentlich nur noch Einwahl. Sofern der Anbieter da nichts geblockt hat an der Box (oder das eure ist?) könntet ihr die auch in Modem-only schalten (oder ein anderes ADSL Modem nutzen) und die pfSense selbst die Einwahl machen lassen. Das geht seit 2.4.4, dass man auf dem CARP Interface nun PPPoE konfigurieren kann um die Einwahl nur auf dem aktiven Knoten zu machen.
Ich würde tatsächlich aber die Box als Router mit Exposed Host vorne stehen lassen, ihr default 192.168.178.x Netz nutzen und die .2 als CARP IP und die .251 und .252 als Adressen der beiden pfSensen des Clusters nutzen. Exposed Host Target wäre dann die CARP IP .2 und die aktive bekäme dann auch alles eingehend was reinkommt.
Vorteil davon: Beide Knoten kommen jederzeit über das Routing der Box ins Internet, nicht nur der aktive der die PPPoE Verbindung aufbaut. Daher wird es bei Cluster Setups auch so empfohlen :)
Wenn ich die pfSense in Hardware betreiben möchte, dann brauche ich dafür Hardware mit redundanter Stromversorgung, denn wir haben 2 USVen und schon erlebt, dass eine davon den Geist aufgegeben hat.
Jein, das würde der Cluster ja problemlos abfangen. Je einen Cluster Node an eine USV hängen und gut. Schön wäre natürlich zwei Netzteile, aber das findet man in kleinen bis mittleren Appliances eher selten und nur dafür würde ich keine großen Mehrkosten in Angriff nehmen!
Oder ich muss einen CARP Cluster in HW aufbauen
Richtig, ist aber der korrekte Weg. Bei VMs wolltet ihr auch Redundanz, warum dann bei extra Hardware sparen - auch wenn sie gut läuft kann sie immer mal ausfallen und einmal völlig(!) unabhängig von der Hardware: was passiert bei Updates? Es kommt immer mal wieder obgleich selten vor, dass ein Update schief geht. Dann ist schonmal 30-60min das Internet weg - kein Telefon, keine Cloud Anwendungen etc. - ist das in eurem Fall OK? Wir haben Kunden, da ist ein Tag offline ein Schulterzucken. Und andere, da sind 10min bereits kritisch. Im ersten Fall reicht eine Appliance mit ordentlichem HW-Support-Vertrag dicke. Im zweiten Fall muss da ein Cluster hin und ebenfalls entsprechender HW-Support damit auch das Ersatzgerät für das ausgefallene nicht erst nach ner Woche wieder zur Verfügung steht.
Daher: Abwägungssache und Business-Entscheidung. Wie kritisch ist ordentliche Funktion vom Internet?
Oder kann man vielleicht einen CARP Cluster so aufbauen, dass normalerweise die HW pfSense aktiv ist und eine passive pfSense VM einspringt, falls die HW stirbt?
Man könnte es sich so "hinbasteln". Empfohlen und sehr supportet ist die Konfiguration nicht, zudem massiv fehleranfällig und benötigt unterschiedliche Konfigurationen an vielen Ecken. Das würde ich so nie supporten wollen ;)
Aber nochmals kurz zu dem Satz:
Oder ich muss einen CARP Cluster in HW aufbauen, was dann schon gleich teuer wird. Dies war auch ein Grund für den Gedanken die pfSense als VM's zu betreiben.
Gut ausgewählte Hardware ist für Firmen normalerweise für 3 oder ggf. auch mal 5 Jahre im Voraus angedacht. Je nach Bandbreite, Pakete, Use Cases etc. kann man sich da die richtige Appliance/Hardware für den Job aussuchen. Mal zwei. Plus Garantie oder next-business-day replacement o.ä. Wird bei den VM Hardware Knoten oder sonstigen Servern meist ähnlich sein. Warum also für die Firewalls nicht? Selbst wenn wir (ohne dass ich deine Anforderungen an Hardware gerade kenne) davon ausgehen, dass jede Kiste ~1000€ kosten (der Einfachheit halber). Dann sinds mit zwei 2k. Und mit Supportverträgen wahrscheinlich knapp 3k. Auf 3 oder gar 5 Jahre. Also grob 1k pro Jahr. ~83€ im Monat. Viele Firmen machen das ja ggf. als Leasing oder sonstwas. Aber ~83€ im Monat für 2 saubere Hardware Firewalls im active standby Cluster um sauber durchgehende Erreichbarkeit zu haben (zumindest was euren Teil angeht, am Provider seid ihr ja nicht schuld). Die meisten Firmen, die sich die Rechnung so stellen und die ich frage: "Was kostet es euch, einen Tag ohne Internet? Zwei Tage? Eine Woche?" geben da wesentlich größere Zahlen an (gerade weil inzwischen auch Telefonie etc. mit dranhängt), was sie an Einbußen, Verluste oder Ausfälle haben. Und plötzlich rechnet sich das dann doch ganz schnell 😉
Grüße
Jens
