PFsense Hardware

[JeGr]

@sub2010 said in PFsense Hardware:

1. Ist die Vergabe der IP Adressen so richtig? Vor allem im Hinblick auf das Fallback zu meiner zweiten Internetleitung?

Wenn die einzelnen Farben auch extra Netze sind und nicht das im gleichen Subnetz läuft, ja.

2. Ich habe einige Dienste die ich Hochverfügbar halten möchte. Ich aber eine Dynamische IP Adresse WAN IP Adresse.

Inwiefern ist hier hochverfügbar gemeint? Ich kann nicht sehen, wie das hier funktionieren soll, denn LTE hat im Normalfall keine Public IP die via DynDNS erreichbar wäre - somit keine Möglichkeit dass der Dienst darüber erreichbar ist
Ansonsten wird DynDNS ganz normal konfiguriert.

3. Ich gehe davon aus, dass ich das DMZ Netz genau so aufbauen muss wie mein LAN Netzwerk, richtig?

korrekt, DMZ ist nur ein "weiteres LAN mit anderen / strikteren Regeln". Aber auch hier hoffe ich dass das alles VLANs oder getrennte Kabelabschnitte sind und nicht einfach mehrere IPs im gleichen Subnetz. Das wäre fatal.

4. Hallo ich habe noch einen Nachbrenner. In der FritzBox LTE muss ich dort die Carp IP Addresse (192.168.3.254) als Exposed Host eintragen, oder die IP Adresesn der Pfsense 1 (192.168.3.253) bzw. Pfsense 2 (192.168.3.252).

Immer die CARP Adresse sonst gibt es kein Failover.

Mir fehlt noch ein 5.: Wie ist eigentlich der Failover bei DSL gedacht? Soll sich der Cluster per PPPoE selbst einwählen? Dann ist das aber erst recht keine "Hochverfügbarkeit", denn Failover gibt es bei PPPoE nicht, nur harter Cut. Ist auch nicht empfohlen.

Somit müsste auch DSL vor den Sensen via Router gelöst und per Exposed Host auf die CARP VIP realisiert werden, erst dann gibt es sauberes und sinnvolles HA und Failover.

Cheers

[sub2010]

@jegr
Wow! Ich danke dir ganz Herzlich! Finde ich super .

Wenn die einzelnen Farben auch extra Netze sind und nicht das im gleichen Subnetz läuft, ja.

Die Netze bestehen aus kleinen Switch die im dem jeweiligen Gerät eingebaut sind.

[Inwiefern ist hier hochverfügbar gemeint? Ich kann nicht sehen, wie das hier funktionieren soll, denn LTE hat im Normalfall keine Public IP die via DynDNS erreichbar wäre - somit keine Möglichkeit dass der Dienst darüber erreichbar ist
Ansonsten wird DynDNS ganz normal konfiguriert.]

Ja, dass habe ich bei meinem Test ebenfalls festgestellt, was ich nicht bedacht habe. Ich hatte mit einer Firma kontakt, die eine IP Adresse einem zuweist, leider nur für gewerbliche Kunden.
Hast du noch eine Idee wie ich das umsetzen könnte? Gibt es vom Provider Verträge dafür?

Also bekommt jede PFsense seine eigene DynDNS Adresse oder, richtige ich
auf der Primären eine ein, und diese wird von der sekundären übernommen?

korrekt, DMZ ist nur ein "weiteres LAN mit anderen / strikteren Regeln". Aber auch hier hoffe ich dass das alles VLANs oder getrennte Kabelabschnitte sind und nicht einfach mehrere IPs im gleichen Subnetz. Das wäre fatal.

Danke, hatte ich vor. Durch eine Trennung am Switch

Mir fehlt noch ein 5.: Wie ist eigentlich der Failover bei DSL gedacht? Soll sich der Cluster per PPPoE selbst einwählen? Dann ist das aber erst recht keine "Hochverfügbarkeit", denn Failover gibt es bei PPPoE nicht, nur harter Cut. Ist auch nicht empfohlen.

Somit müsste auch DSL vor den Sensen via Router gelöst und per Exposed Host auf die CARP VIP realisiert werden, erst dann gibt es sauberes und sinnvolles HA und Failover.

Super Einwand, daran hab ich nicht gedacht.
Ich werde dann von PPPOE auf Routerter betrieb umstellen :).

[sub2010]

@sub2010

Mal wieder ein Nachbrenner

Thema:
Configure Outbound NAT for CARP

Da ich 2x Internetanschlüsse habe, welche CARP Adresse soll ich dann dort eintragen? Oder habe ich da einen Denkfehler?
CARP IP LTE: 192.168.3.254
CARP IP DSL: 192.168.2.254

[JeGr]

@sub2010 said in PFsense Hardware:

Also bekommt jede PFsense seine eigene DynDNS Adresse oder, richtige ich
auf der Primären eine ein, und diese wird von der sekundären übernommen?

Du solltest vielleicht nochmals nachlesen, wie HA und CARP in pfSense funktionieren bzw. umgesetzt sind. Du hast danach keine zwei aktiven Firewalls, sondern die 2. Firewall (Standby) ist immer inaktiv und tut - bis auf wenige Ausnahmen - nichts. Es würde also keinerlei Sinn machen, dass die 2. FWL auch eine IP per DynDNS hat zumal es nicht funktionieren kann. Es kann nur ein Gerät aktiv sein und die Leitung benutzen und die Leitung hat nur eine IP - wie könnten dann beide Firewalls unterschiedliche IPs bekommen? :)

Man konfiguriert auch nach HA Aktivierung nicht mehr an der Standby Firewall - außer es geht um gerätespezifische Einstellungen (Settings, Adv. Settings und alles was Interfaces angeht!). Alles andere (Aliase, NAT, Regeln, die meisten Services) werden nur noch auf der primären Firewall konfiguriert. Ergo auch DynDNS. Das wird alles repliziert und auf der Standby erst ausgeführt, wenn sie die Masterrolle bekommen würde.

Hast du noch eine Idee wie ich das umsetzen könnte? Gibt es vom Provider Verträge dafür?

Jein. Es soll Provider/Möglichkeiten geben, LTE Verträge zu bekommen mit echter erreichbarer IP. Da musst du dich aber ggf. selbst schlau machen. Andernfalls gibt/gäbe es nur noch die Möglichkeit einen Tunnel irgendeiner Art zu nutzen (GIF, OpenVPN, IPSec etc.) um damit dann eine erreichbare IP zu erhalten die auch funktionieren würde.

Ich werde dann von PPPOE auf Routerter betrieb umstellen :).

Würde sonst auch nicht richtig funktionieren ;)

Da ich 2x Internetanschlüsse habe, welche CARP Adresse soll ich dann dort eintragen? Oder habe ich da einen Denkfehler?

Deswegen der Hinweis: es müssen alle WANs als SEPARATE Interfaces und Netzabschnitte angelegt und behandelt werden. Da hier Interface WAN steht, muss da die CARP Adresse der WAN VIP rein, welche das auch immer ist. Wenn WAN also quasi WAN_DSL ist, dann muss da die WAN_DSL CARP IP rein. Dann fehlt natürlich noch die WAN_LTE Interface NAT, wo dann die WAN_LTE CARP IP rein muss. Und ja, man braucht für jedes ausgehende Interface Mappings und entsprechende Regeln.

Hast du noch eine Idee wie ich das umsetzen könnte?

Sicher aber die sprengen gerade etwas den Rahmen, solange die Basics noch nicht sitzen :) Trotzdem einige Denkanstöße:

• Du hast nach Aussage Services, die HA weiterfunktionieren sollen
  • Welcher Art sind die
  • Kommen die automagisch/autonom mit einer anderen externen IP zurecht?
  • Wie passiert dann diese Umschaltung der IP?
  • Was passiert bei Verbindungsabriß?
• Auch DSL hat ja gerne dynamische IPs, LTE hat oft gar keine echte erreichbare
  • wie löst du das LTE Problem? Entsprechender Vertrag? Tunnel?
  • Wie ist der LTE Vertrag? Flatrate? Volumentarif? Wie monitore ich die Uptime des LTEs? Dauer-Pings bei Volumentarifen können in Summe auch mein Volumen auffressen?
• Braucht man bei LTE bspw. eh einen Tunnel stellen sich eher die Fragen
  • nutze ich dann den Tunnel einfach für beide WANs? Dann wechselt bei Ausfall eines WANs einfach der Tunnel auf das andere Interface, meine IP bleibt aber gleich und ich habe kein DNS Problem?
  • nur wie bekomme ich den Tunnel von WAN2 wieder zurück auf WAN1 wenn WAN1 wieder da ist?
  • Kann ich ggf. einfach mehrere Tunnel gleichzeitig aufbauen und route einfach on-demand über Tunnel 1 oder 2?
  • Kann meine Gegenseite das? Kann meine Gegenstelle Routen switchen? Ggf. dynamisch? OSPF?

Abhängig von all den Fragen und Entscheidungen kann man sich das entsprechend schön aufbauen oder es irgendwie hinbasteln. Was es letztendlich wird, hängt aber auch entsprechend an den Fragestellungen und Anforderungen ab.

Cheers

[sub2010]

@jegr

DynDNS

Danke für deine Erklärung. Ich hatte das jetzt erst so richtig verstanden .
Also vielen herzlichen Danke Wenn ich dir eins spendieren kann, schreib mir!

Eine Sache funktioniert aber nicht so, wie ich mir das Vorstelle.
In meiner DynDNS Konfig habe ich als Interfache Monitor das Failover Gateway eingetragen.
Dabei erhalte ich den Fehler, dass die DynDNS Adresse nicht aufgelöst wird.

Wenn ich das Gateway von DSL oder LTE eintrage, kann es nicht zu einem Failover kommen wenn eine der beiden Leitungen ausfällt.
Aber dann funktioniert die DynDNS Auflösung

Habe ich hier einen Denkfehler, oder ist das ein Bug?

LTE + DynDNS

Ich habe bei der Telekom einen Vertrag gefunden, mit einer IPv6 Adresse.
Ich habe mit IPv6 überhaupt keine Erfahrung.
Ich habe hier mal meinen Weg hinterlegt. Würde dieser funktionieren?
In der IPv4 und v6 Adresse habe ich meine Externe IP Adresse vom DSL Provider hinterlegt.
Wenn jetzt die DSL Verbindung ausfällt, gibt es bei der LTE Verbindung keine IPv4 Adresse.
Würde meine Dienste funktionieren? Oder muss ich im Netzwerk dann auch alles auf IPv6 umstellen?

Umstelllung von Modem auf Router Betrieb

Ich habe meine Konfiguration angepasst (S. Screenshot)

Portfreigabe

Ich habe mir einige Videos zur Portfreigabe angesehen. Aber ich finde meinen Fehler nicht.
Mein Ziel ist, egal welche WAN Verbindung (DSL Oder LTE), diese Ports müssen geöffnet werden.
Die Unklaren Bereiche habe ich rot markiert.

[sub2010]

@sub2010

Port Freigaben

Die Portfreigaben konnte ich beheben. Ich habe für jeden WAN Verbindung in meinem Beispiel:
Draytek Router und FritzBOX LTE Portfreigaben eröffnet.

VPN

Ich habe RIESIGES Problem mit meinem VPN.
Die Verbindung wird aufgebaut

Aber ich kann nicht in das andere Netz.

Mein System sieht so aus:
- Internet DSL/LTE
- Draytek Vigor Router (192.168.2.251)
- Pfsense (192.168.2.254)
- LAN (192.168.8.0)

Im Draytek Router habe ich die CARP IP Adresse von der PFsense als DMZ Host eingetragen (Zuvergleichen mit Exposed Host von der FritzBox):
.

IPSec Rule

VPN Phase 2 Config:

Ping Timeout:

Was übersehe ich hier?

[NOCling]

Versuche mal ob es hilft wenn du die zwei Floating Rules anlegst:

Zudem kannst du mal versuchen AES-NI zu deaktivieren, das hatte mit einigen 2.5er Versionen auch Probleme gemacht.

Asynchronous Cryptography solltest du mal checken, wenn das aktiv ist kann es auch dazu führe das der Tunnel hoch kommt, aber nix durch geht.

Aber immer nur ein Setting ändern, dann in ruhe testen und dann das nächste.

[sub2010]

@nocling

Super, danke für deine Hilfestellung.
Um nicht an meiner fehlenden Interpretation zu scheitern, so meinst du?

[NOCling]

Nein Any auf This Firewall mit UDP 500 und UDP 4500.

Die soll ja auf jedem WAN und auf jedem internen Int erreichbar sein.

[sub2010]

Hallo Zusammen,

es tut mir Leid das ich mich so lange nicht gemeldet habe, aber ich musste die Firewall in ein Gehäuse einbringen.

Ich finde mein Werk ist super geworden, war ein ordentliches Stück Arbeit.
Dafür habe ich es geschafft eine HA Firewall in 1,5HE gequetscht incl. redundanten Netzteilen.

![alt text](

Ich konnte heute endlich wieder den VPN Test fahren. Scheitere aber am "Routing".
Die VPN Verbindung wird aufgebaut und ist auch Erfolgreich hergestellt.
Aber ich kann nichts im entfernten Netzwerk anpingen.

@nocling
Ich habe deine Anweisungen umgesetzt, leider ohne Erfolg.

Woran könnte es noch liegen?
Kann es meinem HA System liegen?
Oder an dem doppelten NAT (Draytek Router)?

Ich habe hier noch eine FB rumliegen sollte ich mit der es mal probieren?
Oder liegt es tatsächlich an der PFSense?

Was mich wunder ist!
Hier hat der Ping funktioniert, damals hatte ich den Draytek Router als MODEM Konfiguriert. Damals wusste ich aber nicht, dass diese Konfiguration nicht kompatibel mit meinem HA System ist.
.

Ich würde mich wirklich riesig über eure weitere Unterstützung freuen. Gerne bin ich auch bereit euch ein Bierchen oder Kaffee oder Energydrink zu spendieren!

Viele Grüße und DANKE

[NOCling]

Musst du IKEv1 fahren? Das ist nach meinen Erfahrungen viel zickiger als IKEv2.

Wenn du die Ports 500 und 4500 vom ersten Router sauber zur HA IP weiter geleitet bekommst, sollte das kein Problem sein.
Regeln auf dem IPSec Int hast du auch drauf, die dir den jeweiligen Zugriff den du wünscht erlauben.

[sub2010]

@nocling
Ja, weil die entfernte Fritz Box nur IKE 1 unterstützt.
Ich habe im Draytek Router die Carp Adresse als DMZ Host konfiguriert. Was wohl das ähnlich ist wie Exposed Host.

[viragomann]

@sub2010 said in PFsense Hardware:

Dafür habe ich es geschafft eine HA Firewall in 1,5HE gequetscht incl. redundanten Netzteilen.

Aber die Netzwerkkarte eines Systems muss im Betrieb der Lüftung weichen?
Wenn du die noch reinsteckst, ist ja hinten alles zu.

Die VPN Verbindung wird aufgebaut und ist auch Erfolgreich hergestellt.

Auch P2? Gibt es vom aktuellen Status auch so einen hübschen Screenshot?

Kann es meinem HA System liegen?

Die Frage ist, ob der Draytek mit CARP überhaupt umgehen kann. Ggf. benötigt es eine zusätzliche Einstellung.
Aber ich denke, die IPSec wird wohl nicht der erste Funktionstest des HA-Systems sein. Wenn aller andere Traffic ganz normal drüber läuft, sollte IPSec auch kein Problem sein.

[NOCling]

Hattest du den Tunnel zur Fritz schon am laufen, die sind echte Megazicken was S2S angeht.

Habe hier zu einer 7590 einen laufen:
P1:
IKEv1 Aggro Mode AES256 SHA512 DH2 no DPD

P2:
ESP AES256 SHA512 DH2 Keep Alive on

Ohne Aggro Mode bekommst du den nicht stabil hin.
Gegenseite läuft nur stabil, wenn man den direkt über due GUI anlegt, dann gehts.

Von CARP wird das Gerät davor nix merken, da es einfach mit der virtuellen IP/MAC Kombo spricht.

[sub2010]

@nocling
@viragomann
Nein, die Lüfter bleiben drin, das Ursprungs System kam komplett passiv gekühlt aus.
Die Lüfter sind ein nettes Addon

Auch P2? Gibt es vom aktuellen Status auch so einen hübschen Screenshot?

Hier ein hübscher Screenshot

Der rote Rahmen macht mich stutzig, denn eigentlich müsste von meinem Verständnis dort nicht die IP Adresse der Firewall stehen sondern die CARP IP Adresse (192.168.2.254/28).

Die Frage ist, ob der Draytek mit CARP überhaupt umgehen kann. Ggf. benötigt es eine zusätzliche Einstellung.
Aber ich denke, die IPSec wird wohl nicht der erste Funktionstest des HA-Systems sein. Wenn aller andere Traffic ganz normal drüber läuft, sollte IPSec auch kein Problem sein.

Der Draytek erkennt auf jeden Fall die CARP IP Adresse

Und diese habe ich auch als DMZ IP Adresse genommen (Anders gesagt Exposed Host)

Ping und Tracert auf das entfernte Netzwerk machen mich stutzig, und zeigen meiner Meinung nach Richtung PFSense.

In diesem Test ist irgendwie alles unlogisch. Sowohl das VPN als auch die LAN Schnittstelle werden nicht per Ping über die CARP Adresse angesprochen. Das verstehe ich nicht.
Zudem müsste der Ping doch weiter kommen als zum LAN Netzwerk, kann es sein, dass weil ich zwischen Router und PFSense ein kleineres Netz das es zu Fehlern kommt? 192.168.2.254/28

[viragomann]

@sub2010
Hast du das Outbound NAT auf die CARP IP konfiguriert? Das wird gerne in der Euphorie vergessen.

[sub2010]

@viragomann said in PFsense Hardware:

Hast du das Outbound NAT auf die CARP IP konfiguriert? Das wird gerne in der Euphorie vergessen.

Ich habe mir das noch mal angesehen und Konfiguriert. Leider mit dem gleichen Resultat.
Folgenden Anpassungen habe ich vorgenommen.
Manuel Outbound.
Und die Änderungen vom roten Kasten.
192.168.9.0/24 ist mein DMZ Netz
192.168.8.0/24 ist mein LAN Netz. Ich arbeite momentan aber ausschließlich aus dem LAN Netz!

Was noch immer passiert ist, wenn ich ein Tracert durchführe, nimmt er aus dem LAN nicht die CARP IP Adresse. Sondern die von der Firewall.

Auch Ping Versuch direkt von der Firewall aus in das entfernte Netz schlagen fehl. Was mache ich immer noch falsch?

[viragomann]

@sub2010 said in PFsense Hardware:

Folgenden Anpassungen habe ich vorgenommen.
Manuel Outbound.
192.168.9.0/24 ist mein DMZ Netz
192.168.8.0/24 ist mein LAN Netz. Ich arbeite momentan aber ausschließlich aus dem LAN Netz!

Für die IPSec VPN auf der pfSense benötigst du auch die beiden Regeln für 127.0.0.0/8 für jedes WAN Interface. Schließlich kommt die Verbindung von der pfSense, nicht von einem Netz dahinter.

Falls noch nicht gemacht, musst du auch in der IPSec P1 Konfiguration die CARP VIP einstellen.

Was noch immer passiert ist, wenn ich ein Tracert durchführe, nimmt er aus dem LAN nicht die CARP IP Adresse. Sondern die von der Firewall.

Ist normal. Das ist die IP, von der die Antwort kommt. pfSense schickt eigene Pakete immer von der Interface IP, solange es keine Masquerading gibt (Outbound NAT), ist aber auch nicht nötig.

[sub2010]

@viragomann
Vielen Dank für deine Unterstützung.

Ich bin mir nicht sicher ob ich deine Erläuterungen richtig umgesetzt habe.

Für die IPSec VPN auf der pfSense benötigst du auch die beiden Regeln für 127.0.0.0/8 für jedes WAN Interface. Schließlich kommt die Verbindung von der pfSense, nicht von einem Netz dahinter.

Falls noch nicht gemacht, musst du auch in der IPSec P1 Konfiguration die CARP VIP einstellen.

IPSec Phase 1
Ich habe das Interface von WAN1DSL auf die CAPR Adresse geändert, meinst du das?

Ist normal. Das ist die IP, von der die Antwort kommt. pfSense schickt eigene Pakete immer von der Interface IP, solange es keine Masquerading gibt (Outbound NAT), ist aber auch nicht nötig.

Das erklärt vieles, Danke für diese Antwort!

[viragomann]

@sub2010
Alles okay.