[solved] Extremer Swap mit PFBlockerNG-devel mit Université Toulouse 1 Capitole (UT1) und TLD

p54

Hallo zusammen,

mein Problem fing schon vor dem Jahreswechsel mit einer Version von PFBlockerNG damit an, das der SWAP auf fast 100% voll läuft, wenn ich die Université Toulouse 1 Capitole (UT1) DNS Blacklist (nur Adult) mit TLD aktiviert habe.

Ich frage mich was ich tun kann um dieses Verhalten zu verändern. Vielleicht reicht eine richtige "Reinigung" des PlugIns aus - was ich aber schon einmal klassisch über die WUI bei der Deinstallation getran habe, indem ich keine Sicherung der bestehenden Daten vorgehalten habe.

Kurze Beschreibung zum Umfeld zur HW:

CPU Type: Intel Core i5-4590S CPU @ 3.00GHz
State table size: 3093/3262000
MBUF Usage: 32282/1000000
Load average: 0.54, 0.30, 0.29
Memory usage: 69% of 32620 MiB
SWAP usage (ohne DNSLB UT1) : 16% of 3663 MiB
Disk usage: / 1% of 213GiB - ufs
/tmp 0% of 1.9GiB - ufs in RAM
/var 66% of 15GiB - ufs in RAM

Netze & Services sind noch 3 x OVPN aktiv - 1 x IPSec aktiv - 1 x DMZ aktiv - 2 x WLAN Netz aktiv - Suricata - 1 x CP

Der PFBlockerNG hat nur die Basics und vielleicht zwei, drei BlackListen noch von mir die ich gerne Nutze, aber ansonsten keine specials auf folgende Interfaces aktiv: 2 x WLAN + 1 x DMZ + 2 x WAN ausgehend & eingehend

pfB_PRI1_v4 19,640 2251
DNSBL_EasyList 6,032 30
DNSBL_ADs 34,035 500
DNSBL_Malicious 100,412

Hatte jemand schon einmal diesen Fall, wie oder was könnte ich tun damit dies wieder runder läuft?

VG, p54

A Former User

Hallo,

du müsstest herausfinden, welcher Prozess auf deinem System großen Hunger an Arbeitsspeicher hat. Knapp 70% active Memory Usage bei 32GB RAM sind schon eine Hausnummer. Verbinde dich am besten einmal via ssh mit der Firewall und schau mit top einmal auf die Prozess-Übersicht. Mit dem Hotkey "o" kannst du die Sortierung bestimmen. Sortiere einmal nach "size" oder "res".

Btw. verwendest du wohl eine großzügige Ram Disk für /var und /tmp

JeGr

@p54 said in Extremer Swap mit PFBlockerNG-devel mit Université Toulouse 1 Capitole (UT1) und TLD:

Memory usage: 69% of 32620 MiB
SWAP usage (ohne DNSLB UT1) : 16% of 3663 MiB

Also wenn das ohne pfB ist bzw. ohne die Blocklist, dann Halleluja. 69% von 32GB RAM voll? WER und WARUM? Ich hab keine Firewall unter der Fuchtel, die selbst 8GB voll bekommt! Und an pfB liegt es dann sicher nicht, ich hatte hier selbst auf einem VM Testsystem mit 4GB und 2GB SWAP mit vollen Listen und UT1 mit fast allem angehakt kaum Probleme. Da frisst dir irgendwas anderes ganz gehörig den RAM weg.

Ich würde da mal via Console oder SSH auf die Maschine und sowas wie ein

ps -exwwwo pmem,pcpu,vsize,pid,command | sort -k 1 -nr | head -10

sollte da Aufschlüsse bringen, wer die top10 Memory Schweinchen sind.

p54

@JeGr said in Extremer Swap mit PFBlockerNG-devel mit Université Toulouse 1 Capitole (UT1) und TLD:

ps -exwwwo pmem,pcpu,vsize,pid,command | sort -k 1 -nr | head -10

Hi,

hatte ganz vergessen das ich hier etwas geschrieben habe :)

Danke für eure Rückmeldungen!
Im aktiven default ohne die UT1 Adult (mit 2 Mio Adressen) ist es suricata auf meine drei Interfaces (WAN 1 & WAN 2 & DMZ)

 ps -exwwwo pmem,pcpu,vsize,pid,command | sort -k 1 -nr | head -10
 0.3   0.0 318220 52855 LOGNAME=root PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin PWD=/usr/local/pkg/suricata USER=root HOME=/root SHELL=/bin/sh /usr/local/bin/suricata -i igb3 -D -c /usr/local/etc/suricata/suricata_59684_igb3/suricata.yaml --pidfile /var/run/suricata_igb359684.pid
 0.2   0.0 313292 34418 LOGNAME=root PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin PWD=/usr/local/pkg/suricata USER=root HOME=/root SHELL=/bin/sh /usr/local/bin/suricata -i igb2 -D -c /usr/local/etc/suricata/suricata_46357_igb2/suricata.yaml --pidfile /var/run/suricata_igb246357.pid
 0.1   0.3 110392 15266 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)
 0.1   0.2 110392 69212 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)
 0.1   0.2 108344 70193 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)
 0.1   0.1 110392 91993 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)
 0.1   0.0 250444 53962 LOGNAME=root PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/sbin:/usr/local/bin PWD=/usr/local/pkg/suricata USER=root HOME=/root SHELL=/bin/sh /usr/local/bin/suricata -i igb5 -D -c /usr/local/etc/suricata/suricata_22388_igb5/suricata.yaml --pidfile /var/run/suricata_igb522388.pid
 0.1   0.0 112440 33510 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)
 0.1   0.0 110392 64506 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)
 0.1   0.0 108344 41854 PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/usr/local/sbin OLDPWD=/ PWD=/var/run HOME=/ php-fpm: pool nginx (php-fpm)

Wenn ich aber die Liste wie gesagt hinterlege (UT1 Adult) dann bin ich im Swap bei 90 - 100 %. Dazu werde ich aber auch gern die Abfrage ausführen wenn ich Zeit habe.

Suricata Rules sind natürlich nicht alle aktiviert, nur ein paar auserwählte:

JeGr

@p54 said in Extremer Swap mit PFBlockerNG-devel mit Université Toulouse 1 Capitole (UT1) und TLD:

Wenn ich aber die Liste wie gesagt hinterlege (UT1 Adult) dann bin ich im Swap bei 90 - 100 %. Dazu werde ich aber auch gern die Abfrage ausführen wenn ich Zeit habe.

Jajaja, das ist das Resultat. Aber wichtig wäre genau DANN das Kommando auszuführen. Jetzt ist das relativ sinnfrei wenn du keinen großen RAM Verbrauch hast. Da PMEM in KB ausgegeben wird, haben deine Top10 hier gerade mal ein paar hundert Megabytes. Das ist ja keine Größe. Zudem heißt es nicht, dass wenn hier ein Wert steht, der auch voll ausgeschöpft wird, sondern nur dass er angefordert werden kann. Mein Radius bspw. hat 4109396 angegeben (also ~4GB) , dann tret ich ihn mal durch, dann sinds plötzlich nur noch ~2,7G die er anfordern "könnte". Verbrauchen tut er trotzdem nur ~100M momentan.

Erstmal ist wichtig, keine Vermutungen zu machen, sondern zu messen, wenn der RAM volläuft wer dafür verantwortlich ist. Das kann nämlich problemlos auch ein aufgeblasener PHP-FPM Prozess sein, der viel zu lange viel zu viel Kram abarbeitet oder nicht sauber beendet.

Auch wichtig zu berücksichtigen: Wenn du TLD enabled hast, kannst du mit ~3GB RAM gerade mal ~400-500k Domains durchprozessieren bevor der RAM knapp werden wird. Deine UT1 Liste wird potentiell gerade bei Adult plus sonstigen DNSBLs wohl auf einen Wert kommen, der da schon recht hart an der Grenze sein wird.

Ich würde mich daher eher fragen ob ich den Haken überhaupt reinmache oder nicht. Soll ja für malicious domains hauptsächlich genutzt werden um alle Subdomains davon auch zu sperren (damit man nicht einfach xy1, xy2, xy3.badguys,tld erstellt) aber ... nun. Da die meistens auf die gleiche IP/IPRange zeigen, würde ich eh annehmen, dass malicious hosts, die auf DNS Listen auftauchen auch bald auf IP Listen auftauchen und somit eh geblockt werden.

Für Sex, Drugs & Rock'n'Roll blocking via UT1 halte ich den Schalter eher für vernachlässigbar.

p54

Hi JeGr,

danke für die Rückmeldung. Ja Vermutungen sind nicht hilfreich. ;)

Ich habe jetzt die UT1 aktiviert und im DNSBL von PFBlockerNG die TLD Funktion herausgenommen. Werde es somit spätestens morgen in Erfahrung bringen können, ob dies geholfen hat. Mal sehen was sich auch hinsichtlich der Links in UT1 herausstellt bzw. Verwendbarkeit usw.

Ich werde berichten! Wünsche euch noch einen schönen Tag.

JeGr

Hi @p54

freut mich, bin gespannt was rauskommt :)

p54

Hi,

ohne TLD läuft es wirklich viel entspannter, sprich es verändert sich nichts am SWAP-Verhalten im negativen Sinn.
Zumal wer ProNs sehen möchte findet immer einen Weg oder Seite die nicht gelistet ist, zumindest die "bekannteren" Seiten sind für Jugendliche unter 18 nicht sofort erreichbar. Aber ich denke der Grundschutz ist damit schon gegeben.

Wie es mit den Ads usw. und anderen BLs ist - da sehe ich noch immer die gleichen die sich im Log finden. Sieht somit auch nicht schlecht aus.

Werde erst einmal es so belassen und diesen Thread damit schließen. Danke für die Unterstützung!

Viele Grüße!