PFsense Hardware

sub2010 · Jan 17, 2022, 8:21 AM

@sub2010
In einer HA Umgebung hätte ich erwartet das auch die DynDNS Konfig zwisschen den beiden Boxen gesynct wird. Ist aber leider nicht so.... Sehr schade.

JeGr · Jan 17, 2022, 3:30 PM

@sub2010 said in PFsense Hardware:

In einer HA Umgebung hätte ich erwartet das auch die DynDNS Konfig zwisschen den beiden Boxen gesynct wird. Ist aber leider nicht so.... Sehr schade.

Das hat tatsächlich Gründe, denn es kann durchaus sein, dass man beide Knoten unabhängig voneinander mit einem DynDNS Target synchronisieren möchte um unterschiedliche Adressen zu pushen. Zudem gibt es bei DynDNS keinen "Service" der up/down sein könnte und den man abhängig vom HA Status stoppen oder starten könnte, da der DynDNS Prozess bei diversen Operationen einfach immer mitgetriggert wird. Da die meisten Dienste vorab auch testen, ob ein Update notwendig ist, ist es auch nicht dramatisch auf beiden Nodes den Service einzutragen.

JeGr · Jan 17, 2022, 3:31 PM

@sub2010 said in PFsense Hardware:

Ich habe auf 3 Pfsensen das gleiche Problem mit dem Provider No IP.
Die IP Adresse wird einfach nicht angezeigt.

wurde im 2.6 Release Candidate bereits gefixt:

https://docs.netgate.com/pfsense/en/latest/releases/22-01_2-6-0.html#dynamic-dns

sub2010 · Jan 19, 2022, 8:15 AM

@jegr @jegr said in PFsense Hardware:

Das hat tatsächlich Gründe, denn es kann durchaus sein, dass man beide Knoten unabhängig voneinander mit einem DynDNS Target synchronisieren möchte um unterschiedliche Adressen zu pushen. Zudem gibt es bei DynDNS keinen "Service" der up/down sein könnte und den man abhängig vom HA Status stoppen oder starten könnte, da der DynDNS Prozess bei diversen Operationen einfach immer mitgetriggert wird. Da die meisten Dienste vorab auch testen, ob ein Update notwendig ist, ist es auch nicht dramatisch auf beiden Nodes den Service einzutragen.

Danke für den Hinweis. Ich hätte mir dennoch eine Optionale Synchronisierung erhofft.

@jegr said in PFsense Hardware:

wurde im 2.6 Release Candidate bereits gefixt:
https://docs.netgate.com/pfsense/en/latest/releases/22-01_2-6-0.html#dynamic-dns

Ah super. Naja ich bleibe erstmal in der Stable Version.

Ich habe noch ein paar Unklarheiten zum Thema pfBlockerNG.

pfb_DNSBL Service kann nicht gestartet werden. Und ich finde den Grund nicht. Die Lizenz habe ich eingespielt.
Ich vermute es liegt an der DNSBL Webserver Configuration. 🔒 Log in to view
XMLRPC Sync (Probleme mit dem Sync)
Hier nutze dich die Option Sync to Host. Vom Master zum Slave, richtig?
🔒 Log in to view

sub2010 · Jan 20, 2022, 12:49 PM

Update
Ich habe einige Male Neuinstalliert und konfiguriert und bin jetzt soweit, dass der Sync ohne
DSNBL läuft.

Sobald ich DNSBL unter pfBlockerNG aktiviere passierend folgendes.

Die Slave Firewall switch Netzwerkbereich LAN auf Master.
Die Master Firewall erkennt dies nicht.
Ergebnis ist, beide stehen auf Master damit ist das Chaos perfekt.

Nun habe ich keine Ideen mehr. Ich habe es in der Standard Variante probiert und mit angepassten IP Adressen.
Meine Netze:
WAN1: 192.168.2.0/28 CAPR: 192.168.2.254
WAN2: 192.168.3.0/28 CAPR: 192.168.3.254
Sync: 192.168.2.0/29
LAN: 192.168.8.0/28 CAPR: 192.168.8.254
DMZ: 192.168.9.0/28 CAPR: 192.168.9.254
*DNSBL Webserver: 192.168.17.254

Meine DNSBL Master Config
(Die DNSBL Slave Config wird sauber übertragen (Skew Wert: 100):
🔒 Log in to view

Weiß jemand woran das liegt? Habe ich ein Denkfehler?

JeGr · Jan 20, 2022, 4:17 PM

@sub2010 said in PFsense Hardware:

pfb_DNSBL Service kann nicht gestartet werden. Und ich finde den Grund nicht. Die Lizenz habe ich eingespielt.

Lizenz (für GeoIP) hat nichts mit DNSBL zu tun :)

Allerdings: VIP Type CARP und dann auf Localhost binden? Das ist sehr ... schräg. Klingt nicht so sinnvoll.

Zum XMLRPC: Warum nicht den Sync auswählen mit "Sync to system standby" und den Host manuell eingeben? Da steigt ja die Fehlerpotenz wenn man mal am Sync was umstellen muss?

@sub2010 said in PFsense Hardware:

Ergebnis ist, beide stehen auf Master damit ist das Chaos perfekt.

Wundert mich nicht, das liegt wahrscheinlich an dem schrägen Setup das du oben selektiert hast mit CARP VIP auf Localhost. Das macht keinen Sinn. Das mit dem LAN was du darunter hast, sieht schon sinnvoller aus. Kannst du von dem Setup mal bitten einen Screen machen von "Firewall / Virtual IP" auf beiden Nodes sowie vom Status/Carp auf beiden Nodes?

Cheers

sub2010 · Jan 20, 2022, 6:51 PM

@jegr said in PFsense Hardware:

Zum XMLRPC: Warum nicht den Sync auswählen mit "Sync to system standby" und den Host manuell eingeben? Da steigt ja die Fehlerpotenz wenn man mal am Sync was umstellen muss?

Für mich ist die Beschreibung Missverständlich. Welches Szenario ist denn für mein HA, dass richtige?
Denn für mich ist "Sync to configured system backup server" eine Konfigurationssicherung auf einen Backup Server.
Mein System soll dient der Hochverfügbarkeit.

@jegr said in PFsense Hardware:

Wundert mich nicht, das liegt wahrscheinlich an dem schrägen Setup das du oben selektiert hast mit CARP VIP auf Localhost. Das macht keinen Sinn. Das mit dem LAN was du darunter hast, sieht schon sinnvoller aus. Kannst du von dem Setup mal bitten einen Screen machen von "Firewall / Virtual IP" auf beiden Nodes sowie vom Status/Carp auf beiden Nodes?

Master und Slave sind im HA bei mir gleich.
🔒 Log in to view

Master
🔒 Log in to view
Slave
🔒 Log in to view

Genau so wie es sein soll, aber sobald ich DSNBL aktiviere, steht bei der Slave Firewall Ebenfalls Master unter LAN Schnittstelle.

sub2010 · Jan 21, 2022, 3:57 PM

@sub2010
Update
Seit einem Tag lief pfBlockerNG mit IP Adressen Blockierung problemlos (Auch der Sync zwischen den Master und Slave).

Dann wollte ich mich noch mal an das DNS Blocking heranwagen. Und bin wieder bei dem gleichen Problem. Meine Config:
🔒 Log in to view
Sobald ich das DNSBL Aktiviere:, springt meine Slave Firewall im LAN Netzwerk auf Master. Und da beide Firewalls (Master/Slave) auf Master stehen herrscht Chaos im LAN.
Als erstes erhalte ich eine Fehlermeldung das die Synchro in pfBlocker nicht mehr durchgeführt wird.

c.amazon-adsystem.com|ca.iadsdk.apple.com|cdn-a.amazon-adsystem.com|cdn.adsafeprotected.com|cf.iadsdk.apple.com|control.kochava.com|dt.adsafeprotected.com|dtvc.adsafeprotected.com|fls-eu.amazon-adsystem.com|fls-fe.amazon-adsystem.com|fls-na.amazon-adsystem.com|fw.adsafeprotected.com|fwvc.adsafeprotected.com|iadsdk.apple.com|imp.control.kochava.com|ir-na.amazon-adsystem.com|mads.amazon-adsystem.com|mobile-static.adsafeprotected.com|mobile.adsafeprotected.com|news.iadsdk.apple.com|notes-analytics-events.apple.com|nyidt.adsafeprotected.com|orfw.adsafeprotected.com|orpixel.adsafeprotected.com|pixel.adsafeprotected.com|px.moatads.com|s.amazon-adsystem.com|secure-gl.imrworldwide.com|sgfw.adsafeprotected.com|sgpixel.adsafeprotected.com|spixel.adsafeprotected.com|static.adsafeprotected.com|stocks-analytics-events.apple.com|tr.iadsdk.apple.com|unified.adsafeprotected.com|ut.iadsdk.apple.com|vaes.amazon-adsystem.com|vafw.adsafeprotected.com|vapixel.adsafeprotected.com|vast.adsafeprotected.com|video.adsafeprotected.com|weather-analytics-events.apple.com|web-sdk.control.kochava.com|wildcard.moatads.com.edgekey.net|wrapper-vast.adsafeprotected.com|ws-eu.amazon-adsystem.com|z-eu.amazon-adsystem.com|z-na.amazon-adsystem.com|
  ----------------------------------------------------------------------
  Orig.    Unique     # Dups     # White    # TOP1M    Final                
  ----------------------------------------------------------------------
  7525     7525       7463       62         0          0                    
  ----------------------------------------------------------------------

Saving DNSBL statistics... completed
------------------------------------------------------------------------
Assembling DNSBL database...... completed [ 01/21/22 16:37:03 ]
Stopping Unbound Resolver.
Unbound stopped in 2 sec.
Additional mounts:
  No changes required.
Starting Unbound Resolver... completed [ 01/21/22 16:37:06 ]
DNSBL update [ 97257 | PASSED  ]... completed
------------------------------------------------------------------------

===[  GeoIP Process  ]============================================

[ pfB_Top_v4 ]			 Changes found... Updating
  ------------------------------
  Original Master     Final     
  ------------------------------
  20950    20950      20950       [ Pass ] 
  -----------------------------------------------------------------

[ pfB_Top_v6 ]			 Changes found... Updating

[ pfB_Asia_v4 ]			 Changes found... Updating
  ------------------------------
  Original Master     Final     
  ------------------------------
  7753     28         28          [ Pass ] 
  -----------------------------------------------------------------

[ pfB_Asia_v6 ]			 Changes found... Updating


===[  IPv4 Process  ]=================================================

[ Abuse_Feodo_C2_v4 ]		 Reload [ 01/21/22 16:37:07 ] . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  307      293        293         [ Pass ] 
  -----------------------------------------------------------------

[ Abuse_SSLBL_v4 ]		 Reload [ 01/21/22 16:37:08 ] . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  34       30         30          [ Pass ] 
  -----------------------------------------------------------------

[ CINS_army_v4 ]		 Reload . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  15000    9895       9895        [ Pass ] 
  -----------------------------------------------------------------

[ ET_Block_v4 ]			 Reload [ 01/21/22 16:37:09 ] . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  1509     1149       1149        [ Pass ] 
  -----------------------------------------------------------------

[ ET_Comp_v4 ]			 Reload . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  721      617        617         [ Pass ] 
  -----------------------------------------------------------------

[ ISC_Block_v4 ]		 Reload . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  21       2          2           [ Pass ] 
  -----------------------------------------------------------------

[ Spamhaus_Drop_v4 ]		 Reload . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  1017     0          0           [ Pass ] 
  -----------------------------------------------------------------

[ Spamhaus_eDrop_v4 ]		 Reload [ 01/21/22 16:37:10 ] . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  64       39         39          [ Pass ] 
  -----------------------------------------------------------------

[ Talos_BL_v4 ]			 Reload . completed ..
  ------------------------------
  Original Master     Final     
  ------------------------------
  824      754        754         [ Pass ] 
  -----------------------------------------------------------------


===[  Aliastables / Rules  ]==========================================

No changes to Firewall rules, skipping Filter Reload

 Updating: pfB_Top_v4
no changes.
 Updating: pfB_Top_v6
no changes.
 Updating: pfB_Asia_v4
no changes.
 Updating: pfB_Asia_v6
no changes.
 Updating: pfB_PRI1_v4
397 addresses added.1 addresses deleted.

===[  XMLRPC Sync ]===================================================

 Sync with [ https://192.168.5.252:443 ] ... Failed!

Dann erhalte ich die allgemeine Fehlermeldung.

🔒 Log in to view
Als nächstes fliege ich aus der Session und kann mich nur noch direkt mit IP Adresse der Firewall verbinden, nicht mehr über die CARP LAN Adresse. Auf der Slave Firewall passiert dann dies: Die Master steht natürlich auf Master!
🔒 Log in to view

Das die beiden Firewalls wieder korrekt funktioniert erfordert mehrere Neustarts und das anhalten der CARP Adressen. Einen einfach Weg habe ich noch nicht gefunden.
Jemand eine Idee was ich übersehe?

jma791187 · Jan 21, 2022, 4:18 PM

@sub2010
M.E. solltest Du nicht alle Interface in die gleiche CARP VHID-Group (bei Dir 254) hängen. Sondern eine Gruppe pro Interface.

sub2010 · Jan 21, 2022, 4:23 PM

@jma791187 achso, ich dachte die Gruppe wären durch die 192.168.X. getrennt.

Welche VHID Bildung ist denn sinnvoll? Das habe ich ehrlich nicht recherchiert.

jma791187 · Jan 21, 2022, 4:44 PM

@sub2010 bei mir sind sie einfach von 2 bis 8 durchnummeriert (keine Ahnung, warum 1 fehlt)

Wichtig ist auch, dass auf beiden PFS-Maschinen die Interfaces in der gleichen Reihenfolge sind (also DMZ muss auf beiden PFS auch z.B. OPT1 sein)

sub2010 · Jan 21, 2022, 7:35 PM

@jma791187
Ihr Jungs seid echt Klasse, vielen Dank für deinen Support. Es hat funktioniert!

Virtual IP Umstellung auf VHID:
Ich hatte im Kopf das es das vierte Oktett sein muss. Aber laut Doku "sollte" das dritte sein.
Das hatte ich irgendwie verwechselt bzw mich erst wieder daran erinnert als du mir den Tipp gegeben hast .
🔒 Log in to view

Master
🔒 Log in to view

Slave
🔒 Log in to view

Wie muss denn der Sync zu meiner Slave Firewall aussehen? Als Backup oder Sync to host?

🔒 Log in to view

jma791187 · Jan 22, 2022, 1:57 PM

@sub2010
Bei mir sieht es so aus:

🔒 Log in to view

JeGr · Feb 3, 2022, 5:32 PM

@sub2010 said in PFsense Hardware:

Das hatte ich irgendwie verwechselt bzw mich erst wieder daran erinnert als du mir den Tipp gegeben hast .

Dein Problem war, dass du auf dem LAN 2x CARP mit 2x der gleichen VHID vergeben hast. Alle getrennten Netze können die gleiche VHID benutzen, aber im gleichen Bereich darf es eine ID nur einmal geben.

Du kannst die 2. CARP Adresse eh völlig anders konfigurieren, das wäre der bessere Weg. Statt die 2. LAN IP als CARP, kannst du sie als Alias IP setzen und als Interface nicht LAN, sondern die andere LAN CARP IP auswählen. Dann wird die 2. LAN CARP IP Huckepack auf der ersten verwaltet und braucht keine eigene VHID.

@sub2010 said in PFsense Hardware:

Denn für mich ist "Sync to configured system backup server" eine Konfigurationssicherung auf einen Backup Server.

Dann hast du den Satz schlicht falsch verstanden, denn es geht hier nicht um Backup, sondern um den "HA System Backup Server" und der ist im HA Setup definiert. Darum steht beim 2. Knoten auch überall bei CARP "Backup" State. Weil es der "Backup-Server" ist. Die Einstellung nutzt also schlichtweg den Server, den du selbst in HA definiert hast. So einfach :)

Cheers

sub2010 · Feb 3, 2022, 5:32 PM

@jegr
Danke für die Erläuterung.
Ich habe nun alles so eingestellt wie von euch empfohlen. Und nun läuft es 1A.
Danke
🔒 Log in to view
🔒 Log in to view
🔒 Log in to view

sub2010 · Feb 3, 2022, 5:41 PM

Da habe ich ein noch eine Frage bzgl. der DNS Auflösung.
Mein aktuelles System sieht so aus.
🔒 Log in to view
🔒 Log in to view

Jetzt stellt sich mir die Frage, ob ich den Firewall DNS Resolver einsetzen soll.
Wie macht ihr das? Benutzt Ihr öffentliche DNS Server, oder übernimmt das die Pfsense für euch?

NOCling · Feb 3, 2022, 7:31 PM

pfSense bekommt die vom Provider über DHCP, IPv4 und IPv6.

Ich selber NATe alle DNS Anfragen zur pfSense die intern rein kommen auf die Localhost der pfSense, so umgeht hier niemand meinen Resolver. DNS over HTTPs blocke ich über die passenden pfBlockerNG Listen.

Da ich den pfBlockerNG hier als wichtige Sicherheitsinstanz einsetze, kann die so kein Client intern unterwandern.
DNS Sec nutze ich intern nicht, im eigenem LAN habe ich da keine Bedenken, wenn ich aber mal was Debugen muss, kann ich das im Wireshark einfach lesen.

JeGr · Feb 4, 2022, 6:10 PM

@nocling said in PFsense Hardware:

pfSense bekommt die vom Provider über DHCP, IPv4 und IPv6.

Kommt bei mir nicht ins Haus.

Hierarchie ist hier:

┌──────────┐
│ Internet │
└────┬─────┘
     │
     │
┌────┴─────┐
│ pfSense  │                ┌─────────┐
│(Resolver)├───────────┬────┤ piHole1 │
└──────────┘           │    └─────────┘
                       │
                       │    ┌─────────┐
                       ├────┤ piHole2 │
                       │    └─────────┘
                       │
                       │
                       │
                  ┌────┴────┐
                  │ int.LAN │
                  └─────────┘

pfSense als Edge Device macht Resolver und löst sauber hierarchisch DNS auf.
Intern arbeiten 2x piHole Instanzen für DNS Blocking, Ad Blocking etc. damit da aufgeräumt ist.
Internes LAN bekommt die beiden internen piHoles als DNSe ausgeliefert.
Da die pfSense die interne Domain(s) kennt und ggf. auch überschreiben kann, können die piHoles schön DNS filtern und kennen trotzdem da sie die Sense als Upstream nutzen die internen Gerätenamen etc. problemlos.

Kann man in klein natürlich problemlos auch bauen nur mit der Sense und pfBlockerNG + unbound (DNS Resolver) + DNSBL Listen, hier gabs aber schon piHoles vor pfBNG.

Cheers

sub2010 · Feb 4, 2022, 6:10 PM

@jegr
@NOCling
Entschuldigend meine Unwissenheit, aber ich habe noch eine paarUnklarheiten.

Meine DNS Resolver Einstellung:
🔒 Log in to view

Wenn ich meine Ping Test mache, erhalte ich eine externe IP Adresse. Und ich verstehe nicht warum.
Könnt ihr mir da weiterhelfen?
🔒 Log in to view

jma791187 · Feb 5, 2022, 5:24 PM

@sub2010 Hi,
und welche Adresse hättest Du erwartet?
Hast Du in Deinem Resolver einen Host-Override, der Drive.ibinary.de in eine andere IP-Adresse auflösen soll? Oder hast Du einen Domain-Override für ibinary.de, der auf einen anderen DNS-Server zeigt?