PfBlockerNG DNSBL downloads fail mit cURL Error: 56
-
Moin zusammen,
seit einiger Zeit habe ich das Problem, dass die DNSBL Groups nicht mehr geladen werden.
Hat jemand eine Idee, woran das liegen könnte? Es hat mal funktioniert...Vielen Dank
UPDATE PROCESS START [ 04/03/20 11:23:37 ]
****```
[===[ DNSBL Process ]================================================ Loading DNSBL Statistics... completed Loading DNSBL Whitelist... completed [ Shallalist_adv ] exists. [ Shallalist_aggressive ] exists. [ Shallalist_anonvpn ] Downloading update .. ---------------------------------------------------------------------- Orig. Unique # Dups # White # TOP1M Final ---------------------------------------------------------------------- 390 390 27 0 0 363 ---------------------------------------------------------------------- [ Shallalist_costtraps ] exists. [ 04/03/20 11:24:06 ] [ Shallalist_drugs ] exists. [ Shallalist_fortunetelling ] Downloading update [ 04/03/20 11:24:07 ] .. ---------------------------------------------------------------------- Orig. Unique # Dups # White # TOP1M Final ---------------------------------------------------------------------- 1094 1094 9 0 0 1085 ---------------------------------------------------------------------- [ Shallalist_gamble ] exists. [ 04/03/20 11:24:35 ] [ Shallalist_porn ] exists. [ Shallalist_redirector ] exists. [ 04/03/20 11:24:36 ] [ Shallalist_spyware ] exists. [ Shallalist_tracker ] exists. [ Shallalist_violence ] exists. [ Shallalist_warez ] exists. [ Shallalist_weapons ] exists. [ UT1_adult ] exists. [ 04/03/20 11:25:09 ] [ UT1_agressif ] exists. [ 04/03/20 11:25:10 ] [ UT1_bitcoin ] exists. [ UT1_dangerous_material ] exists. [ UT1_ddos ] exists. [ UT1_dialer ] exists. [ UT1_drogue ] exists. [ UT1_gambling ] exists. [ UT1_malware ] exists. [ UT1_mixed_adult ] exists. [ UT1_phishing ] exists. [ UT1_redirector ] exists. [ UT1_remote-control ] exists. [ UT1_sect ] exists. [ Adaway ] Downloading update . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ DNSBL_Feeds - Adaway ] Download FAIL [ 04/03/20 11:25:26 ] Firewall and/or IDS (Legacy mode only) are not blocking download. Restoring previously downloaded file . Whitelist: aax-us-east.amazon-adsystem.com|aax-us-west.amazon-adsystem.com|s.amazon-adsystem.com| ---------------------------------------------------------------------- Orig. Unique # Dups # White # TOP1M Final ---------------------------------------------------------------------- 409 409 24 3 0 382 ---------------------------------------------------------------------- [ Bbcan1 ] Downloading update [ 04/03/20 11:25:58 ] . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ DNSBL_Feeds - Bbcan1 ] Download FAIL [ 04/03/20 11:26:18 ] Firewall and/or IDS (Legacy mode only) are not blocking download. [ Hphost ] Downloading update [ 04/03/20 11:26:21 ] . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ DNSBL_Feeds - Hphost ] Download FAIL [ 04/03/20 11:26:37 ] Firewall and/or IDS (Legacy mode only) are not blocking download. [ YTAddBlock ] exists. [ 04/03/20 11:26:40 ] [ EasyList ] exists. [ EasyList_Adware ] exists. [ EasyPrivacy ] exists. [ EasyList_German ] exists. [ Adaway ] Downloading update . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ DNSBL_ADs - Adaway ] Download FAIL [ 04/03/20 11:26:56 ] Firewall and/or IDS (Legacy mode only) are not blocking download. Restoring previously downloaded file . Whitelist: aax-us-east.amazon-adsystem.com|aax-us-west.amazon-adsystem.com|s.amazon-adsystem.com| ---------------------------------------------------------------------- Orig. Unique # Dups # White # TOP1M Final ---------------------------------------------------------------------- 409 409 24 3 0 382 ---------------------------------------------------------------------- [ Cameleon ] exists. [ 04/03/20 11:27:29 ] [ D_Me_ADs ] exists. [ D_Me_Tracking ] exists. [ hpHosts_ATS ] exists. [ SBL_ADs ] exists. [ Yoyo ] exists. Saving DNSBL database... completed ------------------------------------------------------------------------ Assembling DNSBL database... completed [ 04/03/20 11:30:02 ] Reloading Unbound Resolver..... completed [ 04/03/20 11:33:04 ] *** DNSBL update [ 2666622 ] [ 2666240 ] ... OUT OF SYNC ! *** [ 04/03/20 11:33:16 ] ------------------------------------------------------------------------ ===[ GeoIP Process ]============================================ ===[ IPv4 Process ]================================================= [ ISC_1000_30_v4 ] Downloading update [ 04/03/20 11:33:17 ] . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ pfB_PRI1_v4 - ISC_1000_30_v4 ] Download FAIL [ 04/03/20 11:33:32 ] Firewall and/or IDS (Legacy mode only) are not blocking download. The Following List has been REMOVED [ ISC_1000_30_v4 ] [ Spamhaus_Drop_v4 ] Downloading update [ 04/03/20 11:33:33 ] . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ pfB_PRI1_v4 - Spamhaus_Drop_v4 ] Download FAIL [ 04/03/20 11:33:49 ] Firewall and/or IDS (Legacy mode only) are not blocking download. The Following List has been REMOVED [ Spamhaus_Drop_v4 ] [ MaxMind_BD_Proxy_v4 ] Downloading update [ 04/03/20 11:33:50 ] . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ pfB_PRI3_v4 - MaxMind_BD_Proxy_v4 ] Download FAIL [ 04/03/20 11:34:06 ] Firewall and/or IDS (Legacy mode only) are not blocking download. The Following List has been REMOVED [ MaxMind_BD_Proxy_v4 ] ===[ Aliastables / Rules ]========================================== No changes to Firewall rules, skipping Filter Reload No Changes to Aliases, Skipping pfctl Update ===[ Kill States ]================================================== Firewall state(s) validation for [ 78 ] IPv4 address(es)... No matching states found ====================================================================== ===[ FINAL Processing ]===================================== [ Original IP count ] [ 0 ] [ Final IP Count ] [ 0 ] ===[ Permit List IP Counts ]========================= ===[ DNSBL Domain/IP Counts ] =================================== 2666240 total 1878246 /var/db/pfblockerng/dnsbl/UT1_adult.txt 495897 /var/db/pfblockerng/dnsbl/Shallalist_porn.txt 89656 /var/db/pfblockerng/dnsbl/UT1_redirector.txt 47400 /var/db/pfblockerng/dnsbl/UT1_phishing.txt 36789 /var/db/pfblockerng/dnsbl/hpHosts_ATS.txt 28456 /var/db/pfblockerng/dnsbl/Shallalist_redirector.txt 19235 /var/db/pfblockerng/dnsbl/Shallalist_spyware.txt 15314 /var/db/pfblockerng/dnsbl/Cameleon.txt 13170 /var/db/pfblockerng/dnsbl/Shallalist_gamble.txt 10900 /var/db/pfblockerng/dnsbl/Shallalist_drugs.txt 9608 /var/db/pfblockerng/dnsbl/Shallalist_adv.txt 3278 /var/db/pfblockerng/dnsbl/UT1_malware.txt 2517 /var/db/pfblockerng/dnsbl/EasyPrivacy.txt 1900 /var/db/pfblockerng/dnsbl/Shallalist_warez.txt 1755 /var/db/pfblockerng/dnsbl/SBL_ADs.txt 1547 /var/db/pfblockerng/dnsbl/YTAddBlock.txt 1370 /var/db/pfblockerng/dnsbl/D_Me_ADs.txt 1313 /var/db/pfblockerng/dnsbl/Shallalist_costtraps.txt 1107 /var/db/pfblockerng/dnsbl/Shallalist_tracker.txt 1085 /var/db/pfblockerng/dnsbl/Shallalist_fortunetelling.txt 1081 /var/db/pfblockerng/dnsbl/UT1_gambling.txt 875 /var/db/pfblockerng/dnsbl/EasyList.txt 723 /var/db/pfblockerng/dnsbl/Yoyo.txt 505 /var/db/pfblockerng/dnsbl/Shallalist_weapons.txt 382 /var/db/pfblockerng/dnsbl/Adaway.txt 363 /var/db/pfblockerng/dnsbl/Shallalist_anonvpn.txt 302 /var/db/pfblockerng/dnsbl/Shallalist_aggressive.txt 286 /var/db/pfblockerng/dnsbl/UT1_ddos.txt 227 /var/db/pfblockerng/dnsbl/UT1_bitcoin.txt 193 /var/db/pfblockerng/dnsbl/UT1_drogue.txt 170 /var/db/pfblockerng/dnsbl/Shallalist_violence.txt 139 /var/db/pfblockerng/dnsbl/UT1_sect.txt 127 /var/db/pfblockerng/dnsbl/UT1_mixed_adult.txt 99 /var/db/pfblockerng/dnsbl/EasyList_Adware.txt 79 /var/db/pfblockerng/dnsbl/UT1_agressif.txt 57 /var/db/pfblockerng/dnsbl/EasyList_German.txt 43 /var/db/pfblockerng/dnsbl/UT1_remote-control.txt 27 /var/db/pfblockerng/dnsbl/UT1_dangerous_material.txt 19 /var/db/pfblockerng/dnsbl/D_Me_Tracking.txt 0 /var/db/pfblockerng/dnsbl/UT1_dialer.txt 0 /var/db/pfblockerng/dnsbl/StevenBlack_BD.update 0 /var/db/pfblockerng/dnsbl/StevenBlack_BD.fail 0 /var/db/pfblockerng/dnsbl/Porngamble.fail 0 /var/db/pfblockerng/dnsbl/Hphost.fail 0 /var/db/pfblockerng/dnsbl/Bbcan1.fail 0 /var/db/pfblockerng/dnsbl/Adaway.fail 0 /var/db/pfblockerng/dnsbl/Abuse_urlhaus.fail ====================[ DNSBL Last Updated List Summary ]============== Jul 31 2015 D_Me_Tracking Mar 9 2016 D_Me_ADs Jan 20 2018 Adaway Mar 18 2018 Cameleon Apr 14 2018 YTAddBlock Feb 20 2019 hpHosts_ATS Feb 20 2019 EasyList_German Feb 21 2019 Adblock Feb 22 2019 Yoyo Feb 22 2019 SBL_ADs Feb 22 2019 EasyList Feb 22 2019 EasyPrivacy Feb 22 2019 EasyList_Adware Mar 9 2019 Shallalist_adv Mar 9 2019 Shallalist_costtraps Mar 9 2019 Shallalist_spyware Mar 9 2019 Shallalist_tracker Mar 9 2019 Shallalist_weapons Mar 9 2019 UT1_ddos Mar 9 2019 UT1_malware Mar 9 2019 UT1_phishing Apr 24 2019 Shallalist_aggressive Apr 24 2019 UT1_agressif Apr 24 2019 UT1_bitcoin Apr 24 2019 UT1_dangerous_material Apr 24 2019 UT1_dialer Apr 24 2019 UT1_gambling Feb 19 12:32 Shallalist_drugs Feb 19 12:32 UT1_adult Feb 19 15:03 Shallalist_redirector Feb 19 15:03 Shallalist_violence Feb 19 15:04 UT1_drogue Feb 19 15:04 UT1_mixed_adult Feb 19 15:04 UT1_redirector Feb 20 10:53 Shallalist_gamble Feb 20 10:53 Shallalist_porn Feb 20 10:55 Shallalist_warez Feb 20 10:56 UT1_remote-control Feb 20 10:56 UT1_sect Apr 3 11:23 Shallalist_anonvpn Apr 3 11:24 Shallalist_fortunetelling =============================================================== Database Sanity check [ PASSED ] ------------------------ Masterfile/Deny folder uniq check Deny folder/Masterfile uniq check Sync check (Pass=No IPs reported) ---------- Alias table IP Counts ----------------------------- pfSense Table Stats ------------------- table-entries hard limit 400000 Table Usage Count 505 UPDATE PROCESS ENDED [ 04/03/20 11:34:11 ]](link url) -
Naja "nicht" geladen stimmt ja nicht, steht hier so eindeutig im Log, dass es nur einige Feeds betrifft, die dann ausgelassen werden. Die haben eben momentan ein irgendgeartetes Problem.
Sind bei dir MaxMind_BD_Proxy_v4, Spamhaus_Drop_v4, ISC_1000_30_v4 und Adaway Sourcen die nicht geladen werden - und die geben einen 407 zurück der sagt, dass man sich dafür anmelden muss. Hast du einfach so Sourcen hinzugefügt ohne zu schauen, ob du dafür einen Login brauchst?
Welcher pfBlocker ist überhaupt installiert? Der alte? Der aktuelle (noch dev)?
Ich habe im Lab mal mit der Dev Version die 4 Feeds geprüft, ich kann sie von unserem IP Range abholen. Evtl. ist auch deine IP bei den Anbietern gesperrt, aber das kann man am Einfachsten mal prüfen, indem man die URL aus den Feeds mal direkt selbst aufruft. Wenn die dann geht, pfB aber immer noch Probleme hat, kann es auch sein, dass manche Anbieter mal wieder mit dem CURL Aufruf ein Problem haben. Gab es auch schon.
Aber erstmal mehr Details bitte :)
-
adaway.org/hosts.txt sometimes report 404 you just need to try later, the website is probably congested or under update
google translate
adaway.org/hosts.txt meldet manchmal 404, die Sie nur später ausprobieren müssen. Die Website ist wahrscheinlich überlastet oder wird aktualisiert -
@JeGr
Vielen Dank für die Antwort.Stimmt, ich sollte vielleicht vorher mal etwas über die Versionen sagen:
MaxMind_BD_Proxy_v4, Spamhaus_Drop_v4 und ISC_1000_30_v4 sind im Bereich Firewall -> pfBlockerNG -> Feeds als Pre-defined Alias/Group/Feeds eingetragen. Ob man sich da anmelden muß, kann ich aus der Beschreibung nicht erkennen. Möglicherweise habe ich hier noch einen zusätzlichen Fehler.
Im Wesentlichen ging es mir um die Einträge im Bereich Firewall -> pfBlockerNG -> DNSBL -> DNSBL Groups
Die nachfolgenden Sourcen trägt man ja manuell ein und die habe ich vorher überprüft und konnte sie im Browser auch ohne Probleme laden, beim Update über pfsense kommt es aber zu dem angegebenen cURL Fehler und der entsprechende Eintrag wird gelb markiert. Testweise habe ich adaway.org auch über die FW gepingt, was auch problemlos möglich war (siehe untere Grafik)
-
Ping sagt nichts über die Erreichbarkeit des Feeds aus. Ein 407 ist ein Credentials Fehler oder ein Server Fehler, bei dem der Webserver dir die Antwort verweigert! Er ist nicht überhaupt nicht erreichbar, sondern er sagt "DU nicht!" Daher die Frage ob du nur im Browser die Feed URL aufrufen kannst.
Sicher, dass dir die pfSense da irgendwas "gelb" markiert? Das sieht mir mehr nach deinem Browser aus. Ich kann da zigfach in die Liste reingehen, egal ob was fehlschlägt oder nicht, und bei mir wird da nichts markiert. Zumal auch nur die Header/Label Felder markiert sind - die ja überhaupt nichts aussagen.
Mich wundert das alles etwas, zumal ich jetzt mal spaßeshalber selbst die DNSBLs reingenommen habe und keinerlei Fehler bekomme. Ich denke daher eher, dass da ggf. deine IP geblockt wird oder ein Rate Limit im Spiel ist.
-
@JeGr
Die gelbe Markierung ist im pfblockerng beschrieben:
Das scheint auch zu stimmen, denn im Verzeichnis /var/db/pfblockerng/dnsbl sind die gelben Einträge mit der Endung .fail beschrieben.Per Browser kann ich die Seiten erreichen (siehe unten). Als Beispiel habe ich mal den zweiten Eintrag genommen, der bei mir als BBcan1 beschrieben ist:
https://gist.githubusercontent.com/BBcan177/4a8bf37c131be4803cb2/raw/d3cc8fb23c52701732a18c663777b26888468a9d/MS-2Trotzdem gibt die pfsense den Fehler cURL 56 raus.
Das Fehlerlog sagt dazu:
[ DNSBL_Feeds - Bbcan1 ] Download FAIL [ 04/11/20 13:00:59 ] Firewall and/or IDS (Legacy mode only) are not blocking download.Das Protokoll des Updates:
[ BBcan1 ] Downloading update [ 04/16/20 21:03:15 ] . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... . cURL Error: 56 Received HTTP code 407 from proxy after CONNECT Retry in 5 seconds... .. unknown http status code | 0 [ DNSBL_Feeds_neu - BBcan1 ] Download FAIL [ 04/16/20 21:03:31 ] Firewall and/or IDS (Legacy mode only) are not blocking download.Der Webbrowser zeigt an, dass er die Seite laden kann:
-
Hallo,
hatte einmal ein ähnliches Problem, folgender Befehl brachte den Erfolg:
/usr/local/bin/curl -s -A "Mozilla/5.0" <URL>Sprich über Cron lädt curl die Liste runter und pfB lädt die von lokal.
-
@root32
Über die Konsole habe ich den Befehl ausführen können und die Webseite konnte auch aufgerufen werden. Das geht eigenartigerweise.
Mir ist allerdings nicht klar, wie ich pfblockerNG dazu bewegen kann den Inhalt auch zu lesen. Die Dateien in /var/db/pfblockerng/dnsbl haben ein leicht anderes Format. -
Ich lade die Datei mittels cron herunter und binde die lokale Datei in pfblockerNG ein.
Sieht bei mir so aus:
P.S. Ich vermute, dass die Website einen Bot-/DDoS-Schutz verwendet, der den User-Agent überprüft. Daher funktioniert es mit dem modifizierten User-Agent im curl
-
@root32
Vielen Dank, das funktioniert als Workaround!
Ich habe eine kleine Modifikation vorgenommen, falls das mal jemand anderes auch als Problem hat:/usr/local/bin/curl -s -A "Mozilla/5.0" <gewünschte URL> >/tmp/hosts.txt
Und sollte noch jemand eine Idee haben, warum pfblockerNG das nicht selber macht, freue ich mich über weitere Antworten.
-
Weil es nicht OK ist und pfBlocker sich sauber mit Curls Header zu erkennen gibt. Ich habe hier auch keinerlei Probleme die Listen abzurufen, daher schrieb ich schon, dass das entweder ein Blacklisting von dir oder ein Ratelimit ist. Wenn du bestimmte Listen zu häufig abrufst kannst du geblockt werden. Einfach aus Schutz um die Last normal zu halten.
Das ganze dann lokal hinzubasteln halte ich für einen cruden Hack, dann würde ich lieber hingehen und das im pfBlocker Unter-Forum nochmal posten, da du bspw auch BBCANs EIGENEN Feed auflistest als 407. DEN kann er wohl am besten selbst debuggen und wird wohl kaum seinen eigenen User-Agent Header abgeschaltet haben ;)
-
@JeGr
Ich habe jetzt mal testweise von täglicher Aktualisierung auf wöchentliche umgestellt, um ein Ratelisting auszuschließen. Falls es daran liegt, gebe ich später eine Rückmeldung.
Ein Blacklisting hätte ich spontan ausgeschlossen, weil alle (!) Listen davon betroffen sind und ich zumindest nicht bewußt oder manuell Blacklists eingetragen habe. Ich wäre auch davon ausgegangen, dass ich ein Blacklisting meinerseits ausschließen kann, wenn sich die Listen über die Konsole laden lassen. Oder liege ich mit dem Gedanken falsch? -
Nicht unbedingt falsch, nein. Es könnte aber auch ein rate-limiting für Prozesse sein (wie Curl) das man dann durch anderen User-Agent aushebelt. Hatte pfBlocker mit einer bestimmten Liste schon mal (weiß gerade nicht mehr welche), die Änderung auf anderen User-Agent hatte dann aber nur ein paar Wochen was gebracht, weil das dann ausgeweitet wurde (die sehen das in den Logs ja trotzdem!). Da aber BBCans eigene Liste mit in deiner Aufführung drin stand, würde ich da in seinem Unterforum nochmal gezielt nachhaken und das Debuggen, denn wie gesagt, es kann nichts allgemeingültiges sein, da mein Test-pfB die Listen bspw. problemlos abrufen konnte. Also ist da mutmaßlich irgendwas im Zusammenspiel am Danebengreifen :)
