Altes Alix 2D13 - soll jetzt auch Kindersicherung machen

JeGr

@noplan Keine Ahnung was du machst mit dem Blocker, aber ich hatte spaßeshalber unsere HW Lab Kiste mit 8GB RAM genommen und ALLES angemacht.

PRI1-5 alles GO
PRI1_6 IPv6 go
SFS6
Top Spammers via GeoIP
ein paar ASIA/Oceania GeoIP Listen
DNSBL
Unbound Mode
Live Sync
Groups: EasyList, ADs, Malicions, Cryptojavkers, Phishing, BBcan177, AbuseC2, Skype, BBC, Malicios2 alle angehakt
Shallalist ausgewählt, Blacklist Cat enabled, fast alle Kategorien angehakt

Gespeichert, Go, Gib Ihm

So und nun? Wo kommen deine 8GB Swap-Kotzeritis her? ;)

Also ich hab noch keine pfSense mit mehr als 16GB RAM gebraucht. Wer mit 32 oder 64 hier anfängt, macht an anderer Stelle was ziemlich schräg.

EDIT: So grad mal ein Update angeworfen damit ich das pfb Log posten kann.
Dauert aber noch etwas, weil ich bei "take all" Feeds jetzt auch einige drin habe, die alt sind oder deren URLs nicht mehr stimmen. Daher gibts ein paar Timeouts etc. - muss warten. Dann kann ich die Statistik zeigen.

noplan

@nocling

Ne das hat Gründe....
Wieso die so is wie sie is...
Hat was mit... Dinge die sich in freier Wildbahn herumtreiben zu tun....

Und irgendwann werd ma alles auf 2.6 umstellen :)

JeGr

@noplan Trotzdem - wie brennst du 8GB RAM ab und gehst in SWAP?

NOCling

Scheinbar hat diese prähistorische Version noch nicht so viele Optimierungen integriert, seit der 2.4.5 und der Dev Version 3.x verbrauche ich auch deutlich weniger Ram für die Listen.

noplan

@nocling
@JeGr

Schon klar das ich ~~2,1 Mio~~ 2.276.502 unique DNSBL Einträge habe f 1 stk Filter (adult Content)
Ohne UT1 & Shallist

Swap wie kommst auf das?
edit /start

ja stimmt verbrenn auch ordentlich swap dafür geht die RAM Usage runter
beides nicht sooo prickelnd aber ist hatl so.

edit /end
Aber wert ich aus..

Meld mich später Hund braucht Aufmerksamkeit

JeGr

@noplan said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Schon klar das ich 2,1 Mio unique DNSBL Einträge habe f 1 stk Filter (adult Content)

Aus welcher Liste oder was hast du 2.1Mio Einträge? Also nicht dass ich das nicht glaube aber ich frage nur wie. Ich hab die Shalla noch zusätzlich an und hab allein IP Listen mit ~350k Einträgen - nur IP, nichts DNS.

Ich hau jetzt zur Shalla-Pr0n noch die UT1-Adult mit dazu und mach Wildcard Blocking mit an, dann mal gespannt ob ich auf mehr RAM komme. Das sind alleine bei Adult bei beiden ~3Mio Einträge allein DNS.

noplan

@jegr

Kurz zusammengefasst.

A)
Das ganze ist ohne

Shallalist

UT1

Ich stell mal die eine gewagte Behauptung auf, das wenn ich beide Listen lade (und diese nach den bereits verwendeten Filter geladen werden keine 5.000 pro Liste (Shallalist / UT1) uniques übrig bleiben ... ( 0,25% v 2,2 Mio)

Würd ich ja gerne testen glaub halt nicht das es das System hergibt (mal schauen)

B)
Alias table IP Counts 151.508 total
DNSBL Domain/IP Counts 2.276.502 total

C)

Es handelt sich hierbei um custom Listen (15 Stk) geht von
Adult_A_PornHost Adult_B_PornHost --> Adult_O_PornHost
Die sind in einer DNSBL_Group zusammengefasst (Adult_Block_List)
Dazu gibts noch eine DNSBL_Group (Adult_Block_List_Cust) dort sind domains drin die nicht von der (Adult_Block_List) erfasst sind, also alles was im laufenden Betrieb so aufschlägt / oder beim testen. (Wie man aber in der Auswertung sehen kann löst sich die Adult_Block_List_Cust volkommen in der Adult_Block_List auf, hat auch niemanden gewundert
zB die Adult_F_pornHost.txt hat 1.906.594 Zeilen

D)

ToDos open:
... oder was jetzt noch fein wäre, die beiden Monster Listen aus oben, gegen diese 2,2 Mio laufen lassen, um zu sehen was übrig bleibt. (rein um die Neugier zu befriedeigen)
Porno schauen wird eh schon fast unmöglich mit der aktiven DNSBL_Group Adult_Block_List

... bevor ich das starte muss ich die hinter Gruppe liegenden Listen A-O bearbeiten
--> Zusammenfassen, Duplikate entfernen um entweder eine Liste aus A-O zu generieren die die exakt gleichen 2.100.338 Einträge hat wie es der pfB ausgibt und diese dann statisch speichern von da an kann man dann weiter testen und spielen.

Wenn noch wer eine Idee hat los her damit ... geht ja noch immer um Kindersicherung mit der pfS

noplan

@nocling said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Scheinbar hat diese prähistorische Version noch nicht so viele Optimierungen integriert, seit der 2.4.5 und der Dev Version 3.x verbrauche ich auch deutlich weniger Ram für die Listen.

Wäre ja wirklich ein spannender Test wie sich die Auslastung (RAM) verhält

noplan

@jegr said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Trotzdem - wie brennst du 8GB RAM ab und gehst in SWAP?

gibts irgendwo eine Info / stellschraube wo man nachjustieren kann (nicht das man das möchte) ab wann / ab welchem Schwellenwert SWAP verwendet werden soll ... (ich hab ehrlich noch nicht nachgelesen)

JeGr

@noplan Nein, macht das System nach Auslastung und Anfrage. Du kannst nur die "swappiness" einstellen, also wie gern er swappt oder nicht.

JeGr

@noplan Hab mir die TestHW jetzt auch weggeschossen mit SWAP/RAM. 10G waren nicht genug, Grund war aber gesetztes TLD bei DNSBL (was schweineviel RAM frisst) und beide Riesenlisten an. Ohne das Wildcard TLD Gedöns ist es kein Problem. Das RAM Dilemma kommt auch nicht direkt von DNSBL sondern eher von unbound der mit immens großer TLD/Domain DB fürs Blocklisting starten soll und dann absäuft weil er zu viel RAM frisst.

Also wenn man sich nen ultimativ Schwarzloch DNS Server bauen will MIT TLD Wildcard Blocking, dann musst du RAM verbrennen ohne Ende. Aber ohne scheint das komplett uninteressant zu sein bzw. wird nicht so viel verschleudert.

Das war jetzt aber auch mit Methode Unbound statt dem neuen Python Gedöns getestet. Daher muss ich das mal sanft später neu testen mit neuer Version und neuem Blocking.

noplan

@jegr

Das ganze DNSBL macht ohne die beiden Einstellungen aus meiner Sicht,
NULL / absolut keinen Sinn.
%(#1dc3f5)[]

Die mögliche Konsequenz resultierend daraus, ja nach Größe der dahinterliegenden Filter-Listen, ist RAM / SWAP Knappheit, wird ja fein angeführt.

Das Kunststück ist halt, du bist mit "porn filter" halt noch nicht fertig, wenn du eine Kindersicherung bauen willst.

Der Ansatz, nicht jede Anfrage deiner Clients an einen fremdem DNS (der die Filterung übernimmt) zu schicken der dann deine Daten analysiert und möglicherweise verscherbelt, (wieso muss ich jetzt an @Bob-Dig denken ;) ist aus meiner Sicht nicht nur im Sinne der geltenden Gesetze zB #DSGVO etc. (wenn dich das Monster halt betrifft) sondern auch im Hinblick auf andere Kleinigkeiten den höchst persönlichen Lebensbereich betreffend die man gerne ignoriert, zu verfolgen.

Und jetzt sprech ich nicht über safe search, Port 853 etc und all die Kleinigkeiten auf der LAN seite richtig nachzubiegen sind, sondern rein nur über "dummes DNSBL".

Bedeutet also von den beiden Großen Listen (UT1 / Shallalist) holst du dir noch flankierend zu deren adult & porn weitere Kategorien hinzu (Agressive, Alcohol, Drugs, Dating,Gambling, Sex-Deu, Sex-Lingerie, Violence usw ...) Wie viele "unique pro Liste (Kategorie)" dann noch übrig bleiben ist eine gute Frage (sollte man mal testen ;)

Zusammengefasst bedeutet das:

zu den hier genannten 2,2 MIO DNSBL spielst du zusätzlich aus UT1 & Sahllalist
noch deren porn / adult Kategorie ein
und im next step dann noch flankierend die oben als Beispiel genannten Kategorien (je Liste).

Ob man dann die 4,5 MIO Domain Marke sprengt könnte man ja testen.

Fakt ist (wohl) das man mit 16GB RAM auch unterdimensioniert sein wird. (wenn python unbound keine Wunder bewirkt)
Weil ja nicht NUR DNSBL abgebildet werden soll sonder du auch noch wenn man auskommt 1,0 MIO IPs im Filter (ohne IPv6) handeln muss.

Ich gebe immer zu Bedenken das Ziel ist es nicht irgendwelche "Malware / Tracker / Adds etc." zu blocken (das wird bei dieser Größe und Dynamik der Listen mit Sicherheit ein Problem )
Denn diese Domains & IPs kommen ja noch on Top hinzu.

JeGr

So mit der Python Unbound Integration und nur Shallalist ohne UT1 aber Shalla mit Adult und Geraffel bin ich jetzt bei ~3.5Mio Entries DNS und ~500k CIDR Entries in IP und wieder bei ~25% RAM von den 8GB. Da Unbound jetzt nicht mehr RAM wie nichts gutes futtert, scheint sich der ganze Kram wesentlich besser einzukriegen.

WildCard sowie CNAME, Regex und IDN Blocking sind an btw, das verbrät normalerweise auch gut RAM.

Mach jetzt nochmal ein pfb Update, hau alles an Listen IP/DNS mäßig rein was geht und versuche dann erst Shalla Adult und später noch UT1 Porn mit dazuzunehmen und mal sehen wann was explodiert.

Der Prozess braucht auf jeden Fall schonmal ordentlich lang bis er das ganze durchgeparsed hat. Da kann man schon gut warten.

Und 100% Porn bspw. zu blocken ist eh utopisch. Egal ob mit oder ohne TLD/Wildcard.

noplan

@jegr said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Und 100% Porn bspw. zu blocken ist eh utopisch. Egal ob mit oder ohne TLD/Wildcard.

das ist immer klar, drum wachsen die Listen ja immer weiter ...

Je mehr du blocken kannst ... jesto weniger findet der 0815 User Zugang zum Content der geblockt wird. Es ist einfach eine Hürde die Richtung unüberwindbar für den User zur Auffindung des Contents errichtet wird. (mehr is es ned)

Wenn der python Unbound bei 3,5 MIO nur 25% v 8GB braucht sehr cool das macht das ganze etwas erträglicher.

@JeGr du bist jetzt mit pfSCE 2.5.1 und pfb 3.0.0 devel am laufen ?

JeGr

@noplan So jetzt hab ich hier:

2.4.5p1 mit 3.0.0_10 auf HW.

5.687.516 DNS BL total
211.165 CIDR IP BLocks total

42% von 8G RAM aktiv. Bisschen Swap (2%) wahrscheinlich während der Renderphase.
Dauert auch gut 45min das alles upzudaten. Da kann man stündlich eigentlich vergessen (außer für IP Listen).

Hier das Log:

UPDATE PROCESS START [ v3.0.0_10 ] [ 05/19/21 13:18:43 ]

...
...
...

------------------------------------------------------------------------
Assembling DNSBL database...... completed [ 05/19/21 13:47:03 ]
TLD:
TLD analysis..................................................xxxxxxx completed [ 05/19/21 13:51:29 ]

  ** TLD Domain count exceeded. [ 5000000 ] All subsequent Domains listed as-is **

TLD finalize...
 ----------------------------------------
 Original    Matches    Removed    Final
 ----------------------------------------
 5687516     3125976    1778405    3909111
 -----------------------------------------
TLD finalize... completed [ 05/19/21 13:53:03 ]

Saving DNSBL statistics... completed [ 05/19/21 13:55:18 ]
Reloading Unbound Resolver (DNSBL python).
Stopping Unbound Resolver.
Unbound stopped in 2 sec.
Additional mounts (DNSBL python):
  No changes required.
Starting Unbound Resolver... completed [ 05/19/21 13:56:06 ]
Resolver cache restored
DNSBL update [ 3909111 | PASSED  ]... completed [ 05/19/21 13:56:09 ]
------------------------------------------------------------------------

...

===[  Aliastables / Rules  ]================================

Firewall rule changes found, applying Filter Reload


** Restarting firewall filter daemon **

===[ FINAL Processing ]=====================================

   [ Original IP count   ]  [ 392806 ]

   [ Final IP Count  ]  [ 198634 ]


===[ Match List IP Counts ]==========================

   16655 total
   12891 /var/db/pfblockerng/match/pfB_Asia_v4.txt
    3764 /var/db/pfblockerng/match/pfB_Asia_v6.txt

===[ Deny List IP Counts ]===========================

  211165 total
  144908 /var/db/pfblockerng/deny/SFS_IPs_v4.txt
   20060 /var/db/pfblockerng/deny/pfB_Top_v4.txt
    8876 /var/db/pfblockerng/deny/BlockListDE_All_v4.txt
    7432 /var/db/pfblockerng/deny/CINS_army_v4.txt
    6622 /var/db/pfblockerng/deny/pfB_Top_v6.txt
    4068 /var/db/pfblockerng/deny/SFS6_30d_v6.txt
    2352 /var/db/pfblockerng/deny/Darklist_v4.txt
    2279 /var/db/pfblockerng/deny/MS_1_v4.txt
    2160 /var/db/pfblockerng/deny/ET_Comp_v4.txt
    1985 /var/db/pfblockerng/deny/BDS_Ban_v4.txt
    1779 /var/db/pfblockerng/deny/DangerRulez_v4.txt
    1581 /var/db/pfblockerng/deny/CCT_IP_v4.txt
    1369 /var/db/pfblockerng/deny/GreenSnow_v4.txt
    1350 /var/db/pfblockerng/deny/Krisk_Intel_v4.txt
     933 /var/db/pfblockerng/deny/Alienvault_v4.txt
     929 /var/db/pfblockerng/deny/ET_Block_v4.txt
     448 /var/db/pfblockerng/deny/Myip_BL_v4.txt
     355 /var/db/pfblockerng/deny/ISC_Miner_v4.txt
     275 /var/db/pfblockerng/deny/MaxMind_BD_Proxy_v4.txt
     218 /var/db/pfblockerng/deny/BlockListDE_SSH_v4.txt
     190 /var/db/pfblockerng/deny/Abuse_Feodo_C2_v4.txt
     140 /var/db/pfblockerng/deny/Maltrail_Scanners_All_v4.txt
     118 /var/db/pfblockerng/deny/Krisk_Intel_Mal_v4.txt
     113 /var/db/pfblockerng/deny/TheGreatWall_DoH_IP_v4.txt
     106 /var/db/pfblockerng/deny/Botvrij_IP_v4.txt
      57 /var/db/pfblockerng/deny/BotScout_v4.txt
      43 /var/db/pfblockerng/deny/Abuse_SSLBL_v4.txt
      42 /var/db/pfblockerng/deny/NVT_BL_v4.txt
      37 /var/db/pfblockerng/deny/Spamhaus_Drop6_v6.txt
      33 /var/db/pfblockerng/deny/SFS_Toxic_v4.txt
      27 /var/db/pfblockerng/deny/Spamhaus_eDrop_v4.txt
      24 /var/db/pfblockerng/deny/HoneyPot_Search_v4.txt
      24 /var/db/pfblockerng/deny/HoneyPot_Mal_v4.txt
      20 /var/db/pfblockerng/deny/HoneyPot_Com_v4.txt
      20 /var/db/pfblockerng/deny/HoneyPot_Bad_v4.txt
      19 /var/db/pfblockerng/deny/ISC_Shadowserver_v4.txt
      17 /var/db/pfblockerng/deny/Malc0de_v4.txt
      17 /var/db/pfblockerng/deny/ISC_Onyphe_v4.txt
      17 /var/db/pfblockerng/deny/HoneyPot_IPs_v4.txt
      17 /var/db/pfblockerng/deny/HoneyPot_Dict_v4.txt
      15 /var/db/pfblockerng/deny/HoneyPot_Rule_v4.txt
      15 /var/db/pfblockerng/deny/HoneyPot_Harv_v4.txt
      14 /var/db/pfblockerng/deny/ISC_Shodan_v4.txt
      12 /var/db/pfblockerng/deny/HoneyPot_Spam_v4.txt
      11 /var/db/pfblockerng/deny/Myip_BL6_v6.txt
      11 /var/db/pfblockerng/deny/BlockListDE_Email_v4.txt
       7 /var/db/pfblockerng/deny/BlockListDE_Apache_v4.txt
       3 /var/db/pfblockerng/deny/ISC_Errata_v4.txt
       1 /var/db/pfblockerng/deny/Spamhaus_Drop_v4.txt
       1 /var/db/pfblockerng/deny/ISC_Rapid7Sonar_v4.txt
       1 /var/db/pfblockerng/deny/ISC_Block_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_Strong_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_SIP_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_Postfix_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_POP3_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_Mail_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_IRC_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_IMAP_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_FTP_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_FTPD_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_Brute_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_Bots_v4.txt
       1 /var/db/pfblockerng/deny/BlockListDE_Asterisk_v4.txt
       1 /var/db/pfblockerng/deny/Abuse_LY_PS_v4.txt
       1 /var/db/pfblockerng/deny/Abuse_CW_PS_v4.txt

====================[ Empty Lists w/127.1.7.7 ]==================

Abuse_CW_PS_v4.txt
Abuse_LY_PS_v4.txt
BlockListDE_Bots_v4.txt
BlockListDE_Brute_v4.txt
BlockListDE_FTPD_v4.txt
BlockListDE_IMAP_v4.txt
BlockListDE_IRC_v4.txt
BlockListDE_Mail_v4.txt
BlockListDE_POP3_v4.txt
BlockListDE_Postfix_v4.txt
BlockListDE_SIP_v4.txt
BlockListDE_Strong_v4.txt
ISC_Block_v4.txt
ISC_Rapid7Sonar_v4.txt
Spamhaus_Drop_v4.txt

===[ DNSBL Domain/IP Counts ] ===================================

 5687516 total
 1808023 /var/db/pfblockerng/dnsbl/EladKarako_BD.txt
 1674495 /var/db/pfblockerng/dnsbl/Chad_Mayfield.txt
  726957 /var/db/pfblockerng/dnsbl/Shallalist_porn.txt
  482705 /var/db/pfblockerng/dnsbl/Turkey_High_Risk.txt
  187621 /var/db/pfblockerng/dnsbl/CoinBlocker_All.txt
  165823 /var/db/pfblockerng/dnsbl/Maltrail_BD.txt
  121882 /var/db/pfblockerng/dnsbl/C19_CTC.txt
   77546 /var/db/pfblockerng/dnsbl/AntiSocial_UK_BD.txt
   50954 /var/db/pfblockerng/dnsbl/Frogeye_First.txt
   41953 /var/db/pfblockerng/dnsbl/Joewein_base.txt
   34484 /var/db/pfblockerng/dnsbl/SNAFU_List.txt
   31208 /var/db/pfblockerng/dnsbl/SFS_Toxic_BD.txt
   28396 /var/db/pfblockerng/dnsbl/Shallalist_redirector.txt
   23596 /var/db/pfblockerng/dnsbl/Phishing_Army.txt
   17203 /var/db/pfblockerng/dnsbl/KAD_BD.txt
   17178 /var/db/pfblockerng/dnsbl/Shallalist_spyware.txt
   16922 /var/db/pfblockerng/dnsbl/MS_2.txt
   14508 /var/db/pfblockerng/dnsbl/Shallalist_gamble.txt
   11792 /var/db/pfblockerng/dnsbl/Frogeye_Multi.txt
   11531 /var/db/pfblockerng/dnsbl/SWC.txt
   11077 /var/db/pfblockerng/dnsbl/EasyList.txt
    9925 /var/db/pfblockerng/dnsbl/Shallalist_adv.txt
    9605 /var/db/pfblockerng/dnsbl/EasyPrivacy.txt
    9416 /var/db/pfblockerng/dnsbl/CCT_BD.txt
    8479 /var/db/pfblockerng/dnsbl/Anudeep_BL.txt
    8243 /var/db/pfblockerng/dnsbl/Adaway.txt
    7859 /var/db/pfblockerng/dnsbl/Adguard_DNS.txt
    7293 /var/db/pfblockerng/dnsbl/Prigent_Malware.txt
    6992 /var/db/pfblockerng/dnsbl/Spam404.txt
    6696 /var/db/pfblockerng/dnsbl/MVPS.txt
    5777 /var/db/pfblockerng/dnsbl/PhishTank.txt
    5146 /var/db/pfblockerng/dnsbl/Chad_Mayfield_1M.txt
    4941 /var/db/pfblockerng/dnsbl/hostsVN.txt
    4832 /var/db/pfblockerng/dnsbl/Prigent_Crypto.txt
    3312 /var/db/pfblockerng/dnsbl/yHosts.txt
    3043 /var/db/pfblockerng/dnsbl/Shallalist_dating.txt
    2405 /var/db/pfblockerng/dnsbl/Quidsup_Trackers.txt
    1990 /var/db/pfblockerng/dnsbl/Krisk_C19.txt
    1942 /var/db/pfblockerng/dnsbl/Shallalist_warez.txt
    1846 /var/db/pfblockerng/dnsbl/Maltrail_Blackbook.txt
    1725 /var/db/pfblockerng/dnsbl/Anudeep_Facebook.txt
    1474 /var/db/pfblockerng/dnsbl/D_Me_ADs.txt
    1412 /var/db/pfblockerng/dnsbl/Shallalist_costtraps.txt
    1406 /var/db/pfblockerng/dnsbl/Yoyo.txt
    1379 /var/db/pfblockerng/dnsbl/CoinBlocker_Opt.txt
    1182 /var/db/pfblockerng/dnsbl/JL_BD.txt
    1154 /var/db/pfblockerng/dnsbl/Shallalist_tracker.txt
    1150 /var/db/pfblockerng/dnsbl/Shallalist_sex_lingerie.txt
    1130 /var/db/pfblockerng/dnsbl/Botvrij_Dom.txt
    1092 /var/db/pfblockerng/dnsbl/Shallalist_fortunetelling.txt
     942 /var/db/pfblockerng/dnsbl/Yhonay_BD.txt
     932 /var/db/pfblockerng/dnsbl/StevenBlack_BD.txt
     838 /var/db/pfblockerng/dnsbl/OpenPhish.txt
     659 /var/db/pfblockerng/dnsbl/Shallalist_alcohol.txt
     617 /var/db/pfblockerng/dnsbl/Shallalist_hacking.txt
     504 /var/db/pfblockerng/dnsbl/Shallalist_weapons.txt
     390 /var/db/pfblockerng/dnsbl/Shallalist_anonvpn.txt
     348 /var/db/pfblockerng/dnsbl/Ad_Wars.txt
     326 /var/db/pfblockerng/dnsbl/Krisk_Intel_BD.txt
     311 /var/db/pfblockerng/dnsbl/neoHosts.txt
     302 /var/db/pfblockerng/dnsbl/Shallalist_aggressive.txt
     283 /var/db/pfblockerng/dnsbl/Piwik_Spam.txt
     276 /var/db/pfblockerng/dnsbl/Shallalist_military.txt
     234 /var/db/pfblockerng/dnsbl/AZORult_BD.txt
     226 /var/db/pfblockerng/dnsbl/DandelionSprouts.txt
     213 /var/db/pfblockerng/dnsbl/Quidsup_Mal.txt
     205 /var/db/pfblockerng/dnsbl/Joewein_new.txt
     183 /var/db/pfblockerng/dnsbl/KADhosts.txt
     160 /var/db/pfblockerng/dnsbl/WaLLy3Ks.txt
     126 /var/db/pfblockerng/dnsbl/Fademind_2o7.txt
     124 /var/db/pfblockerng/dnsbl/Krog_BD.txt
     117 /var/db/pfblockerng/dnsbl/Shallalist_violence.txt
     100 /var/db/pfblockerng/dnsbl/Risky_Hosts.txt
      66 /var/db/pfblockerng/dnsbl/Perflyst_TV.txt
      64 /var/db/pfblockerng/dnsbl/Prigent_Ads.txt
      61 /var/db/pfblockerng/dnsbl/APT1_Report.txt
      42 /var/db/pfblockerng/dnsbl/Shallalist_remotecontrol.txt
      26 /var/db/pfblockerng/dnsbl/VXVault.txt
      24 /var/db/pfblockerng/dnsbl/EasyList_German.txt
      23 /var/db/pfblockerng/dnsbl/DigitalSide.txt
      22 /var/db/pfblockerng/dnsbl/Max_MS.txt
      19 /var/db/pfblockerng/dnsbl/Shalla_Malicious.txt
      17 /var/db/pfblockerng/dnsbl/D_Me_Tracking.txt
      10 /var/db/pfblockerng/dnsbl/H3X_1M.txt
       7 /var/db/pfblockerng/dnsbl/LanikSJ.txt
       5 /var/db/pfblockerng/dnsbl/Perflyst_FireTV.txt
       4 /var/db/pfblockerng/dnsbl/Ponmocup.txt
       3 /var/db/pfblockerng/dnsbl/Easyprivacy.txt
       2 /var/db/pfblockerng/dnsbl/Malc0de.txt
       2 /var/db/pfblockerng/dnsbl/Magento.txt
       1 /var/db/pfblockerng/dnsbl/PL_Adservers.txt
       1 /var/db/pfblockerng/dnsbl/MoneroMiner.txt
       1 /var/db/pfblockerng/dnsbl/D_Me_Malv.txt
       0 /var/db/pfblockerng/dnsbl/ZeroDot1.txt
       0 /var/db/pfblockerng/dnsbl/URLhaus_Mal.fail
       0 /var/db/pfblockerng/dnsbl/Perflyst_Android.txt
       0 /var/db/pfblockerng/dnsbl/NoCoin.txt
       0 /var/db/pfblockerng/dnsbl/Matomo_Spam.txt
       0 /var/db/pfblockerng/dnsbl/Lightswitch05.fail
       0 /var/db/pfblockerng/dnsbl/Fademinds.txt
       0 /var/db/pfblockerng/dnsbl/FM_Spam.txt
       0 /var/db/pfblockerng/dnsbl/Easylist.txt
       0 /var/db/pfblockerng/dnsbl/D_Me_Malw.txt
       0 /var/db/pfblockerng/dnsbl/BarbBlock.fail
       0 /var/db/pfblockerng/dnsbl/Abuse_TC_C2.txt
       0 /var/db/pfblockerng/dnsbl/Abuse_CW_C2.txt

====================[ IPv4/6 Last Updated List Summary ]==============

Dec 16	2019	Malc0de_v4
Jun 2	2020	MS_1_v4
Jul 26	2020	NVT_BL_v4
Mar 18	13:55	Abuse_CW_PS_v4
Mar 18	13:55	Abuse_LY_PS_v4
May 11	12:52	Spamhaus_eDrop_v4
May 13	13:16	DangerRulez_v4
May 17	07:36	Botvrij_IP_v4
May 18	06:30	ET_Block_v4
May 18	08:31	Spamhaus_Drop_v4
May 18	16:00	SFS_IPs_v4
May 19	00:41	ET_Comp_v4
May 19	08:33	Krisk_Intel_v4
May 19	08:34	Krisk_Intel_Mal_v4
May 19	09:56	ISC_Block_v4
May 19	10:18	CINS_army_v4
May 19	11:00	SFS_Toxic_v4
May 19	11:07	ISC_Miner_v4
May 19	11:12	Alienvault_v4
May 19	11:32	BDS_Ban_v4
May 19	11:43	MaxMind_BD_Proxy_v4
May 19	11:43	HoneyPot_Bad_v4
May 19	11:43	HoneyPot_Com_v4
May 19	11:43	HoneyPot_Dict_v4
May 19	11:43	HoneyPot_Harv_v4
May 19	11:43	HoneyPot_IPs_v4
May 19	11:43	HoneyPot_Mal_v4
May 19	11:43	HoneyPot_Rule_v4
May 19	11:43	HoneyPot_Search_v4
May 19	11:43	HoneyPot_Spam_v4
May 19	11:50	SFS6_30d_v6
May 19	11:50	Abuse_SSLBL_v4
May 19	11:51	BotScout_v4
May 19	11:54	BlockListDE_All_v4
May 19	12:00	Abuse_Feodo_C2_v4
May 19	12:00	Myip_BL_v4
May 19	12:00	Myip_BL6_v6
May 19	12:01	GreenSnow_v4
May 19	12:01	CCT_IP_v4
May 19	12:01	Darklist_v4
May 19	12:05	Spamhaus_Drop6_v6
May 19	13:47	ISC_Errata_v4
May 19	13:47	ISC_Onyphe_v4
May 19	13:47	ISC_Rapid7Sonar_v4
May 19	13:47	ISC_Shadowserver_v4
May 19	13:47	ISC_Shodan_v4
May 19	13:48	BlockListDE_SSH_v4
May 19	13:48	BlockListDE_SIP_v4
May 19	13:48	BlockListDE_Postfix_v4
May 19	13:48	BlockListDE_POP3_v4
May 19	13:48	BlockListDE_Mail_v4
May 19	13:48	BlockListDE_IMAP_v4
May 19	13:48	BlockListDE_FTP_v4
May 19	13:48	BlockListDE_FTPD_v4
May 19	13:48	BlockListDE_Email_v4
May 19	13:48	BlockListDE_Bots_v4
May 19	13:48	BlockListDE_Asterisk_v4
May 19	13:48	BlockListDE_Apache_v4
May 19	13:48	BlockListDE_Strong_v4
May 19	13:48	BlockListDE_IRC_v4
May 19	13:48	BlockListDE_Brute_v4
May 19	13:56	pfB_Top_v4
May 19	13:56	pfB_Top_v6
May 19	13:56	pfB_Asia_v4
May 19	13:56	pfB_Asia_v6
May 19	13:57	TheGreatWall_DoH_IP_v4
May 19	13:57	Maltrail_Scanners_All_v4

====================[ DNSBL Last Updated List Summary ]==============

Jul 16	2014	APT1_Report
Apr 11	2015	Skype_Res
Jul 31	2015	D_Me_Tracking
Dec 16	2019	Malc0de
Feb 1	2020	D_Me_ADs
Apr 22	2020	Shallalist_adv
Apr 22	2020	Shallalist_aggressive
Apr 22	2020	Shallalist_anonvpn
Apr 22	2020	Shallalist_gamble
Apr 22	2020	Shallalist_hacking
Apr 22	2020	Shallalist_porn
Apr 22	2020	Shallalist_redirector
Apr 22	2020	Shallalist_remotecontrol
Apr 22	2020	Shallalist_sex_lingerie
Apr 22	2020	Shallalist_spyware
Apr 22	2020	Shallalist_tracker
Apr 22	2020	Shallalist_violence
Apr 22	2020	Shallalist_warez
Apr 22	2020	Shallalist_weapons
May 1	2020	Abuse_urlhaus
May 31	2020	Spam404
May 31	2020	MoneroMiner
May 31	2020	Abuse_CW_C2
May 31	2020	Abuse_TC_C2
May 31	2020	Magento
May 31	2020	Yhonay_BD
May 31	2020	yHosts
Jun 1	2020	BBC_DGA
Jun 1	2020	BBC_DC2
Jul 11	2020	D_Me_Malw
Jul 11	2020	D_Me_Malv
Oct 31	2020	LanikSJ
Nov 12	2020	MDL
Dec 15	00:09	MS_2
Dec 27	05:00	Frogeye_First
Dec 27	05:01	Frogeye_Multi
Jan 21	00:16	NoCoin
Mar 6	12:41	MVPS
Apr 7	00:14	Piwik_Spam
Apr 14	04:03	PhishTank
May 1	01:01	Shalla_Malicious
May 8	00:13	CCT_BD
May 8	00:15	Krog_BD
May 11	00:05	CoinBlocker_All
May 11	00:05	CoinBlocker_Opt
May 11	13:41	WaLLy3Ks
May 12	00:12	EladKarako_BD
May 13	00:12	StevenBlack_BD
May 17	05:14	SWC
May 17	07:36	Botvrij_Dom
May 17	14:00	OpenPhish
May 17	15:32	Yoyo
May 17	17:19	Joewein_base
May 17	18:08	Joewein_new
May 17	18:10	EasyList_German
May 17	18:26	Adaway
May 17	21:21	Prigent_Malware
May 17	21:21	Prigent_Crypto
May 17	21:21	Prigent_Ads
May 17	21:28	Ponmocup
May 17	23:50	EasyList
May 18	00:00	SFS_Toxic_BD
May 18	00:01	EasyPrivacy
May 18	00:12	H3X_1M
May 18	00:12	JL_BD
May 18	00:13	KAD_BD
May 18	00:13	Quidsup_Mal
May 18	00:14	Quidsup_Trackers
May 18	00:14	VXVault
May 18	15:32	Adguard_DNS
May 18	15:50	Easylist
May 18	15:51	Easyprivacy
May 18	19:52	Shallalist_alcohol
May 18	19:52	Shallalist_costtraps
May 18	19:52	Shallalist_dating
May 18	19:52	Shallalist_fortunetelling
May 18	19:52	Shallalist_military
May 19	08:08	DigitalSide
May 19	08:30	Krisk_C19
May 19	08:32	Krisk_Intel_BD
May 19	10:37	PL_Adservers
May 19	11:20	C19_CTC
May 19	12:11	Phishing_Army
May 19	13:21	Maltrail_BD
May 19	13:22	AntiSocial_UK_BD
May 19	13:22	AZORult_BD
May 19	13:26	Maltrail_Blackbook
May 19	13:29	FM_Spam
May 19	13:29	KADhosts
May 19	13:30	Matomo_Spam
May 19	13:30	neoHosts
May 19	13:30	SNAFU_List
May 19	13:31	Ad_Wars
May 19	13:31	Anudeep_BL
May 19	13:32	Fademinds
May 19	13:32	hostsVN
May 19	13:33	Fademind_2o7
May 19	13:35	Max_MS
May 19	13:35	Perflyst_Android
May 19	13:35	Perflyst_FireTV
May 19	13:36	Perflyst_TV
May 19	13:36	Anudeep_Facebook
May 19	13:36	Chad_Mayfield
May 19	13:38	Chad_Mayfield_1M
May 19	13:39	ZeroDot1
May 19	13:40	DandelionSprouts
May 19	13:42	Risky_Hosts
May 19	13:42	Turkey_High_Risk
===============================================================

Database Sanity check [  PASSED  ]
------------------------
Masterfile/Deny folder uniq check
Deny folder/Masterfile uniq check
91.134.150.129
91.135.252.4
91.138.27.127
91.172.16.228
91.199.177.205
91.213.8.56
91.223.3.54
91.57.49.201
91.9.45.174
92.62.236.246
93.1.76.120
93.203.32.156
93.203.33.62
93.41.131.212
94.134.0.174
94.173.189.119
94.23.105.3
94.62.203.232
94.8.169.25
95.163.171.80
95.216.201.150
95.216.225.141
95.216.46.219
95.216.7.90
95.38.252.188
95.5.70.132
95.59.115.235
96.38.144.8
99.110.207.37
99.57.30.204

Sync check (Pass=No IPs reported)
----------

Alias table IP Counts
-----------------------------
  227820 total
  144908 /var/db/aliastables/pfB_SFS_v4.txt
   20060 /var/db/aliastables/pfB_Top_v4.txt
   12891 /var/db/aliastables/pfB_Asia_v4.txt
   12389 /var/db/aliastables/pfB_PRI3_v4.txt
   10783 /var/db/aliastables/pfB_PRI1_v4.txt
    8518 /var/db/aliastables/pfB_PRI4_v4.txt
    6622 /var/db/aliastables/pfB_Top_v6.txt
    4068 /var/db/aliastables/pfB_SFS_6_v6.txt
    3764 /var/db/aliastables/pfB_Asia_v6.txt
    2279 /var/db/aliastables/pfB_PRI5_v4.txt
     933 /var/db/aliastables/pfB_PRI2_v4.txt
     248 /var/db/aliastables/pfB_BlockListDE_v4.txt
     194 /var/db/aliastables/pfB_SCANNERS_v4.txt
     113 /var/db/aliastables/pfB_DoH_IP_v4.txt
      48 /var/db/aliastables/pfB_PRI1_6_v6.txt
       2 /var/db/aliastables/pfB_Abuse_PS_v4.txt

pfSense Table Stats
-------------------
table-entries hard limit  2000000
Table Usage Count         123049

 UPDATE PROCESS ENDED [ 05/19/21 13:58:27 ]

Dauert schon ziemlich...

JeGr

@noplan said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Das ganze DNSBL macht ohne die beiden Einstellungen aus meiner Sicht,
NULL / absolut keinen Sinn.
%(#1dc3f5)[]

Ja anschalten sollte man es halt schon... ;)
Aber TLD sehe ich nicht unbedingt als zwingend an. Ich glaube das wird vielfach auch einfach falsch verstanden was es tut. Sollte man mal genau nachlesen :)

noplan

@jegr said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Sollte man mal genau nachlesen :)

Danke muss ich machen... Hoffe zwar nicht das ich es falsch versteh aber mal nachlesen zur Sicherheit!

JeGr

@noplan Also nach fast ner Stunde warten hat sich der DNSBL Part aktualisiert.

System hat jetzt 46% RAM in use.

DNS 6.486.212 total
IP 211.165 total

ABER: Started - 14:26, END - 15:37.

Das rödelt halt über eine Stunde an den Listen rum, weil er ewig für die DNS Aufbereitung mit CNAMEs und TLDs etc. braucht.

Egal was der pfBlockerNG da bei den DNS Sachen macht, er braucht bei jeder Liste ewig für.
Ich bin mir da nicht sicher, ob ich das bei großen Listen mit dem Code machen wollen würde oder lieber was anderes nutze. Ich bin an der Stelle ganz froh, dass das bei mir auf 2 PiHoles läuft und der dnsmasq da mit seinen Listen ganz gut abkann. Hab aber auch keine zig Mio-Liste mit drin, nur ein paar hundertausender aber dafür RegEx und Co.

NOCling

War hier die CPU das Limit oder eher wie schnell der Root DNS antwortet damit er dann die Listen aufbauen kann?
Denn so wie ich das verstanden habe, fragt er dann ja alles für jeden Eintrag in der Liste ab und baut dann daraus seine Blocklist auf.
Und 6,x Mil Anfragen wird schon ein wenig dauern, da gibts doch bestimmt auch ein Limit beim Provider für.

Ich habe bei mir TDL momentan nicht aktiv.

JeGr

@nocling Konnte oben das komplette Log nicht einfügen aber man sieht dass er nach jeder DNS Blockliste die er lädt schonmal länger braucht. Es rödelt auch die ganze Zeit min. ein PHP Prozess auf max und sobald der mal kurz fertig ist, tiltet ein AWK und wieder PHP rum. Ich denke das ist einfach ziemlich unpraktisch/unschön seriell in PHP programmiert mit eingstreuten AWK/GREP Geschichten und deshalb eher single-core lastig. Die Kiste hat ja 8 Kerne und die Ganze Zeit aber nur ~1.5-2 Load. Also rein crunch technisch könnte die wesentlich mehr ab als das. Daher wird wahrscheinlich die Art des Abrufs und die Prüfung eher nicht auf Masse sondern halt auf kleinere Listen abzielen.

Ich mag pfBlockerNG sehr, aber der DNS Part und auch die Implementation von DNSBL via der Virtual IP hat mir nie geschmeckt, weil gerade der IP Part sehr unschön umgesetzt ist. Hatte ich schon ein paar Diskussionen aber kein Verständnis, weil Anthony wohl keine Ahnung/keine Testumgebung für CARP hat. Hat jetzt auch schon ein paar Mal in den Foren Cluster gekillt, weil sich die CARP Einstellung für die VIP umkonfiguriert und das natürlich im doofsten Fall nen CARP Sync / inbalance triggern kann. Will man nicht!
Wie gesagt ich mag das Package sehr, aber nutze es effektiv nur für IPs, GeoIPs und ASN Listen und Co, denn DNS können andere Tools in meinem Baukasten effektiv einfach besser und ggf. auch schöner zu bedienen (Pi Hole oder AdGuard bspw.)

Cheers :)