Altes Alix 2D13 - soll jetzt auch Kindersicherung machen

viragomann

@mamawe
Ich traue meinen Eigenbauten, ehrlich gesagt, eher als so manchen China-Schrott. Aber mach das mal einer Versicherung klar, die sämtliche Register zieht, um sich vor einer Haftung zu drücken. Im Schadensfall werden die nicht freiwillig befinden, dass der Eigenbau fachmännisch erledigt worden war.

Da hat der Versicherungsnehmer immer leider die schlechteren Karten. Ein Nachweiß des Nichtverschuldens wäre mit hohen Kosten verbunden, die der Kunde dann auch nicht übernehmen möchte. Aber letztendlich muss auch dieser mit dem Manko leben.
Daher absolut richtige Entscheidung.

noplan

== U P D A T E ==

ad Kindersicherung oder adult content filter mittels DNSBL

DNSBL Domain/IP Counts 2.276.184 total
Alias table IP Counts 151.409 total

und NEIN da sind die
2 Listen ( adult (xxx) / porn) von Shallalist & UT1 noch nicht dabei.

was extrem gut zu beobachten ist, die custom Listen (die die Admins selbst erstellt haben),
sind durch CIDR aggregation / & De Duplication fast bzw. immer gegen NULL, was ja auch kein Wunder ist, da die ersten 3 Listen (Adult Content Filter) bereits 85% der 2.276.184 DNSBL Domain/IP Counts ausmachen. Insgesamt machen die Adult Content Filter Listen hier am Testsystem eh "nur" knapp 93% der 2,2 MIO aus.

Und weil es sicher auch einer wissen will ... ... ...
und NEIN die Listen / von StevenBlack sind nicht inkludiert, nur so als Anmerkung.

Hat jetzt noch wer Fragen zur Auslegung von Hardware, wenn man sich mit Kindersicherung und in weiterer Folge DNSBL beschäftigen muss / will.

brNP

NOCling

Also 32GB oder besser 64GB Ram?
Und ist der Python Mode aktiv?

noplan

@nocling said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Python Mode

Was wie wo.... Was macht der wo kann ich nachschauen...

Wenn das der @JeGr liest.... Verflixt da hagekts wieder schuuuuuuuulung

NOCling

pfBlockerNG, DNSBL, DNSBL Mode

Aber im Vergleich mit Jens gehen wir alle unter und dann auf Schulung.

noplan

@nocling

ad python mode in DNSBL
requires ...
a) pfBlockerNG-devel v3.x.x.x.x.x
b) DNSBL - Python Mode Integration ( This mode is only available for pfSense v2.4.5 and above )

klar kann man das nicht finden wenn die TestBench die Voraussetzungen NICHT erfüllt.
(hat wohl seine Gründe wieso die noch nicht nachgezogen wurde .. .. .. .. )

ad 32GB oder besser 64GB Ram
warten wir noch a bissal was die Überlegungen von Gestern so bewirken.

Die StevenBlack Liste hab ich jetzt mal auseinandergenommen (weil ich keine eigene adultContent gefunden haben) und in #snuff (9.600 Zeilen) und #adult (16.500 Zeilen) geteilt,
wieso die Teilung und das loslösen von der Gesamtliste ist ein anderes Thema.(zb UserGroup Plausch)

Jetzt werden diese beiden Listen zu den 2.276.184 noch hinzugefügt, bin gespannt was nach der deDuplex jeweils von den beiden übrig bleibt (ich hab so eine Vermutung)
update:

der update zyklus braucht
von: UPDATE PROCESS START [ 05/18/21 08:51:03 ]
bis: UPDATE PROCESS ENDED [ 05/18/21 09:26:23 ]
wenn der unbound reloaded wird ... haste bis der fertig ist kein WWW
von #snuff (9.600 Zeilen) sind 341 unique oder 0,01% v 2,2 MIO übrig geblieben
RAM lieg gleich bei 97% v 8GB

update /end

update II /start:

von #adult (16.500 Zeilen) sind 51 unique oder < 0,01% v 2,2 Mio übrig geblieben
RAM lieg gleich bei 97% v 8GB ---> pedelt sich dann aber nach unten aufgrudnd SWAP ein
Beide Werte nicht so prickelnd.

Der Durchlauf für den ganzen Run. (Alle Listen sind verfügbar und können geladen werden / somit keine Timeouts 404 etc.)

UPDATE PROCESS START [ 05/18/21 13:06:09 ]
UPDATE PROCESS ENDED [ 05/18/21 13:43:30 ]

update /end

Wenn das noch mit 8GB am Testsystem stemmbar ist ... jop dann wirds spannend.
Dann wäre zumindest ein Filter mit den im Moment erreichbaren Listen realisierbar, ohne auf
Shallalist & UT1 zuzugreifen (wobei auch hier die Frage was bleibt von den beiden übrig wenn deDubplex gelaufen ist)

Das ist aber auch egal ... Zusammengefasst: unter 32GB würd ich keinen Content Filter mit DNSBL anfangen

Mir drängt sich jetzt aber auch die Frage auf, wie machen das alle die mit Ihren RASPis so suuper in Schulen und Firmen adult Content ohne Proxy filtern2.276.451

NOCling

Ok konnte ja nicht wissen das du auf einer prähistorischen Sense unterwegs bist und das LAB nennst

JeGr

@noplan Keine Ahnung was du machst mit dem Blocker, aber ich hatte spaßeshalber unsere HW Lab Kiste mit 8GB RAM genommen und ALLES angemacht.

PRI1-5 alles GO
PRI1_6 IPv6 go
SFS6
Top Spammers via GeoIP
ein paar ASIA/Oceania GeoIP Listen
DNSBL
Unbound Mode
Live Sync
Groups: EasyList, ADs, Malicions, Cryptojavkers, Phishing, BBcan177, AbuseC2, Skype, BBC, Malicios2 alle angehakt
Shallalist ausgewählt, Blacklist Cat enabled, fast alle Kategorien angehakt

Gespeichert, Go, Gib Ihm

So und nun? Wo kommen deine 8GB Swap-Kotzeritis her? ;)

Also ich hab noch keine pfSense mit mehr als 16GB RAM gebraucht. Wer mit 32 oder 64 hier anfängt, macht an anderer Stelle was ziemlich schräg.

EDIT: So grad mal ein Update angeworfen damit ich das pfb Log posten kann.
Dauert aber noch etwas, weil ich bei "take all" Feeds jetzt auch einige drin habe, die alt sind oder deren URLs nicht mehr stimmen. Daher gibts ein paar Timeouts etc. - muss warten. Dann kann ich die Statistik zeigen.

noplan

@nocling

Ne das hat Gründe....
Wieso die so is wie sie is...
Hat was mit... Dinge die sich in freier Wildbahn herumtreiben zu tun....

Und irgendwann werd ma alles auf 2.6 umstellen :)

JeGr

@noplan Trotzdem - wie brennst du 8GB RAM ab und gehst in SWAP?

NOCling

Scheinbar hat diese prähistorische Version noch nicht so viele Optimierungen integriert, seit der 2.4.5 und der Dev Version 3.x verbrauche ich auch deutlich weniger Ram für die Listen.

noplan

@nocling
@JeGr

Schon klar das ich ~~2,1 Mio~~ 2.276.502 unique DNSBL Einträge habe f 1 stk Filter (adult Content)
Ohne UT1 & Shallist

Swap wie kommst auf das?
edit /start

ja stimmt verbrenn auch ordentlich swap dafür geht die RAM Usage runter
beides nicht sooo prickelnd aber ist hatl so.

edit /end
Aber wert ich aus..

Meld mich später Hund braucht Aufmerksamkeit

JeGr

@noplan said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Schon klar das ich 2,1 Mio unique DNSBL Einträge habe f 1 stk Filter (adult Content)

Aus welcher Liste oder was hast du 2.1Mio Einträge? Also nicht dass ich das nicht glaube aber ich frage nur wie. Ich hab die Shalla noch zusätzlich an und hab allein IP Listen mit ~350k Einträgen - nur IP, nichts DNS.

Ich hau jetzt zur Shalla-Pr0n noch die UT1-Adult mit dazu und mach Wildcard Blocking mit an, dann mal gespannt ob ich auf mehr RAM komme. Das sind alleine bei Adult bei beiden ~3Mio Einträge allein DNS.

noplan

@jegr

Kurz zusammengefasst.

A)
Das ganze ist ohne

Shallalist

UT1

Ich stell mal die eine gewagte Behauptung auf, das wenn ich beide Listen lade (und diese nach den bereits verwendeten Filter geladen werden keine 5.000 pro Liste (Shallalist / UT1) uniques übrig bleiben ... ( 0,25% v 2,2 Mio)

Würd ich ja gerne testen glaub halt nicht das es das System hergibt (mal schauen)

B)
Alias table IP Counts 151.508 total
DNSBL Domain/IP Counts 2.276.502 total

C)

Es handelt sich hierbei um custom Listen (15 Stk) geht von
Adult_A_PornHost Adult_B_PornHost --> Adult_O_PornHost
Die sind in einer DNSBL_Group zusammengefasst (Adult_Block_List)
Dazu gibts noch eine DNSBL_Group (Adult_Block_List_Cust) dort sind domains drin die nicht von der (Adult_Block_List) erfasst sind, also alles was im laufenden Betrieb so aufschlägt / oder beim testen. (Wie man aber in der Auswertung sehen kann löst sich die Adult_Block_List_Cust volkommen in der Adult_Block_List auf, hat auch niemanden gewundert
zB die Adult_F_pornHost.txt hat 1.906.594 Zeilen

D)

ToDos open:
... oder was jetzt noch fein wäre, die beiden Monster Listen aus oben, gegen diese 2,2 Mio laufen lassen, um zu sehen was übrig bleibt. (rein um die Neugier zu befriedeigen)
Porno schauen wird eh schon fast unmöglich mit der aktiven DNSBL_Group Adult_Block_List

... bevor ich das starte muss ich die hinter Gruppe liegenden Listen A-O bearbeiten
--> Zusammenfassen, Duplikate entfernen um entweder eine Liste aus A-O zu generieren die die exakt gleichen 2.100.338 Einträge hat wie es der pfB ausgibt und diese dann statisch speichern von da an kann man dann weiter testen und spielen.

Wenn noch wer eine Idee hat los her damit ... geht ja noch immer um Kindersicherung mit der pfS

noplan

@nocling said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Scheinbar hat diese prähistorische Version noch nicht so viele Optimierungen integriert, seit der 2.4.5 und der Dev Version 3.x verbrauche ich auch deutlich weniger Ram für die Listen.

Wäre ja wirklich ein spannender Test wie sich die Auslastung (RAM) verhält

noplan

@jegr said in Altes Alix 2D13 - soll jetzt auch Kindersicherung machen:

Trotzdem - wie brennst du 8GB RAM ab und gehst in SWAP?

gibts irgendwo eine Info / stellschraube wo man nachjustieren kann (nicht das man das möchte) ab wann / ab welchem Schwellenwert SWAP verwendet werden soll ... (ich hab ehrlich noch nicht nachgelesen)

JeGr

@noplan Nein, macht das System nach Auslastung und Anfrage. Du kannst nur die "swappiness" einstellen, also wie gern er swappt oder nicht.

JeGr

@noplan Hab mir die TestHW jetzt auch weggeschossen mit SWAP/RAM. 10G waren nicht genug, Grund war aber gesetztes TLD bei DNSBL (was schweineviel RAM frisst) und beide Riesenlisten an. Ohne das Wildcard TLD Gedöns ist es kein Problem. Das RAM Dilemma kommt auch nicht direkt von DNSBL sondern eher von unbound der mit immens großer TLD/Domain DB fürs Blocklisting starten soll und dann absäuft weil er zu viel RAM frisst.

Also wenn man sich nen ultimativ Schwarzloch DNS Server bauen will MIT TLD Wildcard Blocking, dann musst du RAM verbrennen ohne Ende. Aber ohne scheint das komplett uninteressant zu sein bzw. wird nicht so viel verschleudert.

Das war jetzt aber auch mit Methode Unbound statt dem neuen Python Gedöns getestet. Daher muss ich das mal sanft später neu testen mit neuer Version und neuem Blocking.

noplan

@jegr

Das ganze DNSBL macht ohne die beiden Einstellungen aus meiner Sicht,
NULL / absolut keinen Sinn.
%(#1dc3f5)[]

Die mögliche Konsequenz resultierend daraus, ja nach Größe der dahinterliegenden Filter-Listen, ist RAM / SWAP Knappheit, wird ja fein angeführt.

Das Kunststück ist halt, du bist mit "porn filter" halt noch nicht fertig, wenn du eine Kindersicherung bauen willst.

Der Ansatz, nicht jede Anfrage deiner Clients an einen fremdem DNS (der die Filterung übernimmt) zu schicken der dann deine Daten analysiert und möglicherweise verscherbelt, (wieso muss ich jetzt an @Bob-Dig denken ;) ist aus meiner Sicht nicht nur im Sinne der geltenden Gesetze zB #DSGVO etc. (wenn dich das Monster halt betrifft) sondern auch im Hinblick auf andere Kleinigkeiten den höchst persönlichen Lebensbereich betreffend die man gerne ignoriert, zu verfolgen.

Und jetzt sprech ich nicht über safe search, Port 853 etc und all die Kleinigkeiten auf der LAN seite richtig nachzubiegen sind, sondern rein nur über "dummes DNSBL".

Bedeutet also von den beiden Großen Listen (UT1 / Shallalist) holst du dir noch flankierend zu deren adult & porn weitere Kategorien hinzu (Agressive, Alcohol, Drugs, Dating,Gambling, Sex-Deu, Sex-Lingerie, Violence usw ...) Wie viele "unique pro Liste (Kategorie)" dann noch übrig bleiben ist eine gute Frage (sollte man mal testen ;)

Zusammengefasst bedeutet das:

zu den hier genannten 2,2 MIO DNSBL spielst du zusätzlich aus UT1 & Sahllalist
noch deren porn / adult Kategorie ein
und im next step dann noch flankierend die oben als Beispiel genannten Kategorien (je Liste).

Ob man dann die 4,5 MIO Domain Marke sprengt könnte man ja testen.

Fakt ist (wohl) das man mit 16GB RAM auch unterdimensioniert sein wird. (wenn python unbound keine Wunder bewirkt)
Weil ja nicht NUR DNSBL abgebildet werden soll sonder du auch noch wenn man auskommt 1,0 MIO IPs im Filter (ohne IPv6) handeln muss.

Ich gebe immer zu Bedenken das Ziel ist es nicht irgendwelche "Malware / Tracker / Adds etc." zu blocken (das wird bei dieser Größe und Dynamik der Listen mit Sicherheit ein Problem )
Denn diese Domains & IPs kommen ja noch on Top hinzu.

JeGr

So mit der Python Unbound Integration und nur Shallalist ohne UT1 aber Shalla mit Adult und Geraffel bin ich jetzt bei ~3.5Mio Entries DNS und ~500k CIDR Entries in IP und wieder bei ~25% RAM von den 8GB. Da Unbound jetzt nicht mehr RAM wie nichts gutes futtert, scheint sich der ganze Kram wesentlich besser einzukriegen.

WildCard sowie CNAME, Regex und IDN Blocking sind an btw, das verbrät normalerweise auch gut RAM.

Mach jetzt nochmal ein pfb Update, hau alles an Listen IP/DNS mäßig rein was geht und versuche dann erst Shalla Adult und später noch UT1 Porn mit dazuzunehmen und mal sehen wann was explodiert.

Der Prozess braucht auf jeden Fall schonmal ordentlich lang bis er das ganze durchgeparsed hat. Da kann man schon gut warten.

Und 100% Porn bspw. zu blocken ist eh utopisch. Egal ob mit oder ohne TLD/Wildcard.