Internet Unterbrechnungen DNS resolver

interessierter

@sebden Ich hatte heute wieder eine Unterbrechung, du scheinst mit deiner Vermutung über den pfblocker Recht zu haben:

pfSense Table Stats

table-entries hard limit 2000000
Table Usage Count 313723

UPDATE PROCESS ENDED [ 10/30/21 00:12:12 ]

Saving configuration [ 10/30/21 10:09:32 ]

Removing DNSBL Unbound mode (Resolver adv. setting)
DNS Resolver ( disabled ) unbound.conf modifications:
Removed DNSBL Unbound mode
Stop Service DNSBL

Stopping Unbound Resolver.
Unbound stopped in 2 sec.
Additional mounts:
No changes required.
Starting Unbound Resolver... completed [ 10/30/21 10:09:36 ]
DNSBL is disabled

** Stopping firewall filter daemon **

JeGr

@interessierter said in Internet Unterbrechnungen DNS resolver:

@sebden Ist mir nicht bewusst das ich das installiert hätte

Das wird nicht installiert, das ist Bestandteil von pfBNG-devel.

Du musst dazu pfBNG-devel haben, dann kann man in den DNSBL Konfigs einstellen welchen Modi man nutzen möchte

Der Python Mode ist wesentlich angenehmer.

Man hat zwei Versionen des Pakets zur Auswahl, die -devel Version ist die eindeutig modernere und Neuere:

Ja das habe ich aus Verzweiflung ja schon auf einmal gedreht, damit er nicht 1 mal in der Stunde den DNS resolver neu startet.

pfBNG läuft per Cron immer jede Stunde. Es wird nur nicht immer auch jede Stunde was getan. Das hängt ganz von den Einstellungen ab, wie IP/DNS Listen aktualisiert werden. Wenn nichts zu tun ist, geht er eben wieder schlafen. Wenn du aber eben häufige Updates deiner DNS Blocklisten eingestellt hast, muss er eben Unbound neu starten, sonst kanns nicht klappen. Da hilft aber der Python mode da er dann direkt neuladen kann ohne den ganzen Prozess neu zu starten.

Cheers

sebden

@interessierter

Sorry für die späte Rückmeldung. Der pfBlockerNG-devel sollte in der Paketverwaltung unter "Verfügbare Pakete" eigentlich auftauchen.

Solltest du noch auf 2.4.X stehen, musste du mWn. erstmal im Update-System vermerken, dass du bei 2.4 bleiben willst. Sonst sieht die Box das Upgrade auf 2.5 und bietet keine Pakete mehr an. Zumindest habe ich das so beobachtet.

Dann natürlich das alte Paket entfernen und anschließend den devel installieren.

Schau, dass unter Unbound, "DHCP Registrierung" deaktiviert ist. Dann sollte einer Aktivierung mit Python-Modul nix im Wege stehen. Das wird aber live auch abgeprüft.

Hast du den pfBlocker mal für 1-2 Tage deaktiviert? Blieben die Ausfälle weg?

interessierter

@sebden said in Internet Unterbrechnungen DNS resolver:

-deve

Hallo!

pfNBlockerng devel ist installiert bei mir, die Version ist 3.1.0.
Ich habe auf der pfsense snort und den pfnblockerng installiert. Ich konnte defintiv nachweisen, das die Updates dieses Problem verursachen.

Daher habe ich die Listen und Updates die ich habe alle auf 1 mal am Tag gestellt. Obwohl die Einstellung am Cron sehr gewöhnunsbedürftig ist. Jedenfalls rennen die Updates jetzt in der Nacht, da ist es mir egal wenn der DNS kurzzeitig nicht geht.

Nur leider habe ich mich da zu früh gefreut, weil oft der DNS resolver oft nachher nicht mehr geht. Das service rennt zwar, aber die Auflösung geht nicht. Das neustarten des Dienstes und oftmals auch der ganzen Appliance helfen nichts. Nach 3 reboots oder so gehts dann plötzlich wieder.

Somit ist selbst wenn das Update um 4 Uhr in der früh gemacht wird, das Internet am nächsten Tag ohne Eingriff noch immer tot.

Bin ich wirklich der einzige mit einem solchen Problem? Das nervt total

interessierter

EDIT PS: Vielleicht kann mir auch jemand sagen, was ich beim Cron einstellen muss, damit er das Update zwischen 4 und 6 Uhr früh macht.

viragomann

@interessierter said in Internet Unterbrechnungen DNS resolver:

Nur leider habe ich mich da zu früh gefreut, weil oft der DNS resolver oft nachher nicht mehr geht. Das service rennt zwar, aber die Auflösung geht nicht. Das neustarten des Dienstes und oftmals auch der ganzen Appliance helfen nichts. Nach 3 reboots oder so gehts dann plötzlich wieder.

Das Ganze sieht mir eher nach einem Verbindungsproblem des Clients mit dem Server aus.
Wenn das Problem besteht, mach mal ein NS Abfrage auf der pfSense selbst und schau, ob du vom localhost eine Antwort bekommst.

Vielleicht kann mir auch jemand sagen, was ich beim Cron einstellen muss, damit er das Update zwischen 4 und 6 Uhr früh macht.

Was meinst du damit? Eine zufällige Zeit zwischen 4 und 6?
Den Cron an sich hast du doch schon konfiguriert, oder?
Cron Paket installiert?

interessierter

@viragomann said in Internet Unterbrechnungen DNS resolver:

@interessierter said in Internet Unterbrechnungen DNS resolver:

Nur leider habe ich mich da zu früh gefreut, weil oft der DNS resolver oft nachher nicht mehr geht. Das service rennt zwar, aber die Auflösung geht nicht. Das neustarten des Dienstes und oftmals auch der ganzen Appliance helfen nichts. Nach 3 reboots oder so gehts dann plötzlich wieder.

Das Ganze sieht mir eher nach einem Verbindungsproblem des Clients mit dem Server aus.
Wenn das Problem besteht, mach mal ein NS Abfrage auf der pfSense selbst und schau, ob du vom localhost eine Antwort bekommst.

Ich kann das gerne mal probieren, ich glaub es nur nicht. Kein einziger meiner CLients und das sind doch ein paar kann dann ins Internet. Mein nslookup sagt Server failed

Vielleicht kann mir auch jemand sagen, was ich beim Cron einstellen muss, damit er das Update zwischen 4 und 6 Uhr früh macht.

Was meinst du damit? Eine zufällige Zeit zwischen 4 und 6?
Den Cron an sich hast du doch schon konfiguriert, oder?
Cron Paket installiert?

Ich habe zwar in der Auswahl unter Services glaub ich cron, aber da kommt drauf eine Fehlermeldung beim aufmachen. Wenn ich im pfnblocker und smrt auf Update gehe, bekomme ich bei beiden die selbe Ansicht. Auch beim drücken auf view sehe ich, das er verwendet wird.

viragomann

@interessierter said in Internet Unterbrechnungen DNS resolver:

Ich habe zwar in der Auswahl unter Services glaub ich cron, aber da kommt drauf eine Fehlermeldung beim aufmachen.

?
Ja, im Service Menü scheint der Eintrag nur auf, wenn das Paket installiert ist. Das ist aber keine Voraussetzung für die Verwendung von Cron.
Im Cron Paket kann man bestehende Jobs editieren oder weitere hinzufügen.

Ich kann mir allerdings den Fehler nicht erklären. Beim Öffnen sollten ja erstmals nur die Jobs ausgelesen werden.

Wenn ich im pfnblocker und smrt auf Update gehe, bekomme ich bei beiden die selbe Ansicht.

Ja, die Einstellung scheint wahrlich eigenwillig. Der Unterschied der beiden letzten Spalten ist mir jetzt nicht klar. Ich denke aber, für deinen Zweck sollten die ersten drei Felder reichen.

interessierter

@viragomann Ich hatte auf meiner letzten alten Hardware Appliance anscheinend cron installiert, beim Umzug auf die neue ist der Eintrag unter Services wieder gekommen. Das Paket wurde aber nicht installiert.

Ich hab das jetzt mit der Hand nachinstalliert, jetzt ist er da

JeGr

@viragomann said in Internet Unterbrechnungen DNS resolver:

Im Cron Paket kann man bestehende Jobs editieren oder weitere hinzufügen.

Sollte man für pfBlocker aber tunlichst sein lassen! Denn pfB managed das selbst. Was man in den CRON Settings in pfb einstellt ist lediglich, wann zu welcher Stunde der Cron läuft, also ob es wirklich jede Stunde um :00 Minuten ist und wann er zu zählen anfängt (bei 0 oder eben nicht) wenn Jobs konfiguriert sind mit "alle X Stunden". Der Blocker kann/sollte jede Stunde laufen um seine Jobs zu tun! Nur weil er jede Stunde gestartet wird, heißt das nicht dass er auch jede Stunde was tut. WANN er etwas tut, bestimmt dann wieder alleine die IP oder DNS Liste und das Setting dort.

Wenn es mit dem DNS Resolver hapert: ist denn jetzt der Python mode aktiv? Ist im DNS Resolver auch Python aktiv? Ich habe seit meinem Post jetzt nichts davon gelesen, wie die Settings sind außer dass du mit dem DNS Resolver Probleme hast. Zeig doch bitte mal die Einstellungen des Resolvers und deiner DNSBL Settings und der Listen. Sonst ist das alles herumraten im Nebel. Zudem wäre es auch sinnvoll zu wissen, ob der Resolver überhaupt im Resolver Mode läuft oder ob du irgendwo hin forwardest und dort das Problem liegt. Oder MultiWAN. Oder sonstwas. Mehr Details!

@viragomann Ich hatte auf meiner letzten alten Hardware Appliance anscheinend cron installiert, beim Umzug auf die neue ist der Eintrag unter Services wieder gekommen. Das Paket wurde aber nicht installiert.

Alleine das klingt schon danach, als wäre beim Umzug der Restore nicht vollständig gelaufen, sonst wäre das Paket da. Könnte also auch was mit der Installation zu tun haben.

Cheers

viragomann

@jegr said in Internet Unterbrechnungen DNS resolver:

@viragomann said in Internet Unterbrechnungen DNS resolver:

Im Cron Paket kann man bestehende Jobs editieren oder weitere hinzufügen.

Sollte man für pfBlocker aber tunlichst sein lassen! Denn pfB managed das selbst. Was man in den CRON Settings in pfb einstellt ist lediglich, wann zu welcher Stunde der Cron läuft, also ob es wirklich jede Stunde um :00 Minuten ist und wann er zu zählen anfängt (bei 0 oder eben nicht) wenn Jobs konfiguriert sind mit "alle X Stunden". Der Blocker kann/sollte jede Stunde laufen um seine Jobs zu tun! Nur weil er jede Stunde gestartet wird, heißt das nicht dass er auch jede Stunde was tut. WANN er etwas tut, bestimmt dann wieder alleine die IP oder DNS Liste und das Setting dort.

Ich war damit auf eine Frage bezüglich des Cron Pakets eingegangen, von pfBlocker war da keine Rede.
Ich denke nicht, dass das sonst noch jemand so in Zusammenhang gebracht hat.

JeGr

@viragomann Sorry das war nicht alles an dich adressiert gewesen. Hätte ich anders darstellen sollen..

Da ging es mir mehr um

Ich habe zwar in der Auswahl unter Services glaub ich cron, aber da kommt drauf eine Fehlermeldung beim aufmachen. Wenn ich im pfnblocker und smrt auf Update gehe, bekomme ich bei beiden die selbe Ansicht. Auch beim drücken auf view sehe ich, das er verwendet wird.

denn im Screenshot sieht man ja, dass der Haupt-Cron von pfBNG schon verändert wurde. Das ist im Normalfall nicht nötig und sinnvoll da dann auch die Maintenance Tasks nicht angestoßen werden.

viragomann

@jegr said in Internet Unterbrechnungen DNS resolver:

Da ging es mir mehr um
denn im Screenshot sieht man ja, dass der Haupt-Cron von pfBNG schon verändert wurde. Das ist im Normalfall nicht nötig und sinnvoll da dann auch die Maintenance Tasks nicht angestoßen werden.

Aber nicht im Text.

interessierter

@jegr Nein der Python mode im DNS resolver ist nicht aktiv, was ich gemacht habe:

Einen Script mit Cron verbunden, der die Internet Verbindung checkt und den DNS resolver neu startet
Ein paar IP Listen aus dem pfblocker ausgeräumt
Updates alles auf 1 mal am Tag eingestellt, und diese in die nacht verschoben
im pfblocker die Option Resolver Live Sync aktiviert

Ich habe bisher nur einen Restart des resolvers in der Nacht. Im Moment ist Ruhe im Karton

JeGr

@interessierter said in Internet Unterbrechnungen DNS resolver:

Einen Script mit Cron verbunden, der die Internet Verbindung checkt und den DNS resolver neu startet

Warum Workarounds bauen, anstatt die Ursache zu finden und zu fixen?

Ein paar IP Listen aus dem pfblocker ausgeräumt

Das macht immer Sinn.

@interessierter said in Internet Unterbrechnungen DNS resolver:

Updates alles auf 1 mal am Tag eingestellt, und diese in die nacht verschoben

Das ist ja Unsinn. Wenn sich listen mehrfach am Tag - oder bei einigen der PRI1 oder bspw. Firehol1 <1h aktualisieren mit neuen Daten weil gerade was krassiert und ich date die nur einmal am Tag ab ist der Sinn einer aktuellen Liste ja ziemlich klein.

@jegr Nein der Python mode im DNS resolver ist nicht aktiv, was ich gemacht habe:
...
im pfblocker die Option Resolver Live Sync aktiviert

Und warum nicht? Es steht ja noch dazu explizit im Text:

This option is not required when DNSBL python blocking mode is enabled.

Warum nicht einfach mal mit defaults (was Cron angeht) sauber durchspielen:

Cron wieder auf jede Stunde.

Python an im DNS Resolver und dann testen bzw. ne Stunde abwarten.

Klar kannst dus lassen wie jetzt, nur dann hast du eben den kompletten Sinn von rapid-response IP/DNS Blocklisten versäumt und hängst nen ganzen Tag hinterher. Jede Blocklist ist ja schon per se "hinterher" was die Gefahrenlage jeweils angeht. Darum würde ich per se eigentlich versuchen so nah wie möglich an live updates ranzukommen.

Cheers

interessierter

@jegr said in Internet Unterbrechnungen DNS resolver:

@interessierter said in Internet Unterbrechnungen DNS resolver:

Einen Script mit Cron verbunden, der die Internet Verbindung checkt und den DNS resolver neu startet

Warum Workarounds bauen, anstatt die Ursache zu finden und zu fixen?

Um beides zu haben. Der Schmerz wegen der dauernden Untebrechungen war schon groß. Der Workaround soll aber nicht die Dauerlösung sein

Ein paar IP Listen aus dem pfblocker ausgeräumt

Das macht immer Sinn.

@interessierter said in Internet Unterbrechnungen DNS resolver:

Updates alles auf 1 mal am Tag eingestellt, und diese in die nacht verschoben

Das ist ja Unsinn. Wenn sich listen mehrfach am Tag - oder bei einigen der PRI1 oder bspw. Firehol1 <1h aktualisieren mit neuen Daten weil gerade was krassiert und ich date die nur einmal am Tag ab ist der Sinn einer aktuellen Liste ja ziemlich klein.

Das mag sein, sinnlos ist es trotzdem nicht. Wenn sich das ganze stabilisiert hat (und dsa scheint es), kann ich wieder mehr dazu schalten

@jegr Nein der Python mode im DNS resolver ist nicht aktiv, was ich gemacht habe:
...
im pfblocker die Option Resolver Live Sync aktiviert

Und warum nicht? Es steht ja noch dazu explizit im Text:
This option is not required when DNSBL python blocking mode is enabled.

Ich wollte nicht zuviel auf einmal ändern, ich hab ihn jetzt eingeschaltet

Warum nicht einfach mal mit defaults (was Cron angeht) sauber durchspielen:

Cron wieder auf jede Stunde.

Python an im DNS Resolver und dann testen bzw. ne Stunde abwarten.

Klar kannst dus lassen wie jetzt, nur dann hast du eben den kompletten Sinn von rapid-response IP/DNS Blocklisten versäumt und hängst nen ganzen Tag hinterher. Jede Blocklist ist ja schon per se "hinterher" was die Gefahrenlage jeweils angeht. Darum würde ich per se eigentlich versuchen so nah wie möglich an live updates ranzukommen.

Cheers

JeGr

@interessierter said in Internet Unterbrechnungen DNS resolver:

Das mag sein, sinnlos ist es trotzdem nicht. Wenn sich das ganze stabilisiert hat (und dsa scheint es), kann ich wieder mehr dazu schalten

Nein sinnlos ist es nicht, aber unsinnig(er). Darum sag ich auch nicht "das ist doof" weil das falsch wäre - und unfreundlich Was gemeint war, ist klar, es entgeht einem dann der Vorteil der wirklich häufig gepflegten Listen. Aber ja - siehe unten - erstmal einen stabilen Zustand zu haben, ist natürlich wünschenswert.

OK also war Ziel erstmal eine Lösung zu haben die irgendwie funktioniert ohne Dauerabbruch. Kann ich nachvollziehen :)
Wenn das erreicht ist damit, ist das natürlich erstmal gut. Das sollte dann nicht falsch rüberkommen. Wenn du das jetzt auf das Python Module umgestellt hast, bin ich gespannt wie es arbeitet, ich habe da auf der Lab-HW-Box eigentlich keine Aussetzer gehabt im Test trotz voller Latte an Listen. Hatten da zum Test einfach mal alles angehakt auch wenn es explizit genannt wird, dass man das bitte nicht tun sollte ;) War RAM-seitig im Python mode sehr unspektakulär, nach switch auf normal ist die Kiste mit Swap voll abgekratzt ;)
Der Unterschied ist da wirklich enorm :)

interessierter

@jegr Kein Problem!
Stabil war sie dann vorher auch schon, wenn ich noch was improven kann dann gerne. Das Ding muss einfach laufen.

Wie ist den eure Erfahrung mit zuviel Listen, bzw was ist eigentlich zu viel? Meine HW ist neu und auch nicht schwach auf der Brust. Trotzdem habe ich nach dem entfernen von ein paar Listen einen massiven Unterschied im Speed von MS Teams gemerkt. Ich verwende die Office 365 Proxy Liste, und schalte alle IPs und Namen mit einem ALLOW total durch. Irgendwie ist es blöd, es geht jetzt voll super. Welche Liste das aber genau war und warum, kann ich nicht sagen. Ich hab keine Blocks in der Richtung gesehen.

Wie viele Listen habt ihr da aktiv?

JeGr

@interessierter Meinst du jetzt DNS Listings oder eher IP Listings? Die Office 365 Liste ist ja IMHO eine IP Liste oder?

Ansonsten schwer zu sagen was das war, dass es Teams gebremst hat. Das passt nicht wirklich in das Prozedere. Es geht oder nicht wenn es um IPs geht. Oder bei DNS gibt es ggf. Timeouts. Aber langsam klingt komisch.
Eventuell geht das in Richtung "zu viele DNS Einträge" (o.ä.) zu blocken und daher war der Resolver ggf. überfordert und hat einfach langsam geantwortet? Das wäre zumindest ungefähr dann erklärbar. Gerade da sollte aber der Python Mode Abhilfe/Besserung schaffen, da er wesentlich weniger RAM braucht. Also wenns daran hing, dann könnte es sein, dass das Problem jetzt generell besser/weg ist auch wenn du wieder DNSBLs mit dazu nimmst.

Was Listen angeht kann ich jetzt nur IP mäßig sprechen: Da haben wir meist die PRI1 mit Anpassungen drin und inzwischen oft noch die firehol1 und 2. Manchmal auch 3, allerdings haben sich inzwischen auf der firehol_level3 leider durch einige "Spaßvögel" (eher Kackvögel) und deren Doofheit auch IPs von Discord Servern und GitHub FRA mit eingeschlichen. Das kann man durch die Suppression in pfB ganz leicht wieder fixen und allow-listen, aber trotzdem sitzt man im blöden Fall dann erstmal davor und wundert sich, warum was nicht geht. Daher jetzt nur noch 1+2 und 3 mit Ausnahmen wenn überhaupt mit drin. PRI1+Firehol1/2 sind schon so viel große Bereiche, da fällt schon ordentlich was weg - und das natürlich dann von außen wie von innen filtern.

sebden

Ich habe mittlerweile eine Box mit dem gleichen Problem. Vormals die letzte 2.5er Version, aktuell 2.6.0.

Aufgefallen ist es dadurch, dass:

Webseite A lädt auf dem Klienten. Webseite B nicht.

NSLookup auf Webseite B am Klient brachte o.g. Meldung, Server nicht erreichbar o.ä.

DNS Lookup auf der pf ging allerdings.

Neustart -> Unbound und auch der Klient konnte auflösen und die Webseite B laden.

Meine Konfig ist recht nah am Standard würde ich meinen. Ich hänge ein paar Bilder an.

Die Maschine ist die einzige mit diesem HW-Typ, das unterscheidet sie zu einigen anderen mit den identischen Einstellungen. Ist so ein China, All in One PC mit Celeron Prozessor. Zwischenzeitlich wurde ein Cron-Job eingebaut, der die Kiste jeden Tag früh neu startet, dennoch tritt das Problem häufig auf. Und statt meiner Lieblings-DNS Cloudflare oder quad9 läuft mittlerweile nur Google mit 8.8.8.8 und 8.8.4.4.