pfBlockerNG Entwicklung / Business Einsatz

slu

Aus irgend einem Grund führt die Kombination pfBlockerNG und "unbound python mode" zu einem dauerhaften schreiben auf die SSD, soweit zumindest meine derzeitige Erkenntnis.

Das ganze hat bei mir zu einer defekten SSD geführt und das andere System welches noch keine zwei Jahre alt ist hat ganz schön gelitten:
https://forum.netgate.com/topic/189689/what-wrote-47-tb-in-two-years-2-7-2

Ist dieses Problem bei euch auch vorhanden?

Edit:
Auf der Konsole mit "top -m" io prüfen.

Ich merke gerade das ich ein ganz schönes durcheinander mit den verschiedenen Post in den unterschiedlichen Topics produziert habe...

Artefakt

@slu Ja, unbound schreibt ständig was....

Hatte noch keinen Defekt damit.

Gruß.

slu

@Artefakt
die Frage ist nur warum er ständig schreiben muss.

Available Spare:                    100%
Available Spare Threshold:          10%
Percentage Used:                    67%
Data Units Read:                    22,535 [11.5 GB]
Data Units Written:                 92,432,066 [47.3 TB]
Host Read Commands:                 4,378,418
Host Write Commands:                4,303,452,653
Controller Busy Time:               42,328
Power Cycles:                       25
Power On Hours:                     13,114

47,3 TB ist sehr viel für eine Firewall, finde ich.
Oder die Ausgabe ist falsch, das kann ich natürlich auch nicht ganz ausschließen.

sebden

Bei top -m io sehe ich zwar selten mal Unbound hochspringen, aber wir prüfe ich denn das gesamte Schreibvolumen pro Festplatte? Ich nutze mehrheitlich UFS und nur vereinzelt für Stichproben mal ZFS bei >=8GB Ram. Unter den "normalen" SMART Infos finde ich leider nichts.

slu

@sebden said in pfBlockerNG Entwicklung / Business Einsatz:

Unter den "normalen" SMART Infos finde ich leider nichts.

Die SMART Infos sehen je nach SSD unterschiedlich aus, kann gut sein das deine SSD gar nichts anzeigt oder die Werte anders sind.

slu

So ich lerne dazu, zfs schreibt auch recht regelmäßig auf die SSD, sieht man aber nur mit dem Schalter -S

top -S -m io -o total

https://man.freebsd.org/cgi/man.cgi?top(1)

fireodo

@slu said in pfBlockerNG Entwicklung / Business Einsatz:

zfs schreibt auch recht regelmäßig auf die SSD

Die Schreibvorgänge auf den Datenträger kann man mit diesem Befehl sehen (hab aber nicht gefunden wie man ihn auf einzelne Prozesse setzen kann):

iostat 5 50 -d ada0 -x

(ada0 ist hier der Datenträger)

sebden

@slu

top -S -m io -o total -> bringt für ca. 1 Sekunde eine Tabelle, die bei mir von clamd angeführt wird mit knapp 50%, gefolgt von zfsker mit 40%. Wäre ein System mit 2.7.2, pfBlockerNG python-mode und ZFS.

edit. nach der 1 Sekunde sieht es wie ein normales top aus, wo sekündlich immer mal was auf den 1. Platz springt, augenscheinlich nichts besonderes.

slu

@sebden said in pfBlockerNG Entwicklung / Business Einsatz:

top -S -m io -o total -> bringt für ca. 1 Sekunde eine Tabelle

Beim starten von top? Das ist bei mir auch so, ich kenne den Grund nicht.

Wenn top das natürlich nicht anzeigen würde weil zu kurz könnte das auch meine TB's erklären und Unbound wäre gar nicht die Ursache.

sebden

@slu Ja richtig, beim Starten kommt für 1 Sekunde etwas, was ich für eine Zusammenfassung hielt, danach sieht das top aber wieder typisch aus und verschiedenste Prozesse springen auf Pos. 1 im Sekundentakt. Bei 2 meiner Senses kann ich leider nicht im SMART das totale Schreibvolumen finden, obwohl sie unterschiedlich sind.

Die Problematik hatte mich nur interessiert, weil ich ebenso konsequent pfBlocknerNG mit pyhton-mode nutze und schon eine handvoll Senses neu installieren musste, weil es irgendwie die Configs oder das ganze Dateisystem geschreddert hatte. Ich vermute hier aber eher den Bug mit dem falsch gemeldeten freien Speicher der bei 2.7.0 oder 2.7.1 auftrat.

slu

@sebden
ich kann es dir nicht sagen, im Moment bin ich einfach vorsichtig.

Um dem ganzen Thema etwas vorzubeugen habe ich jetzt größere SSDs bestellt, anstatt 120GB 480GB, die kann dann schon etwas mehr schreiben.

Zusätzlich habe ich den Unbound Python Mode abgeschaltet, mir ist unklar warum der die ganze Zeit schreiben muss (vielleicht gibt es dafür Gründe).

Sollte es wirklich an dem liegen wundert es mich nicht das die ganzen Netgate Appliances mit kleinen "Fesplatten" nach und nach kaputt gehen.

fireodo

@slu said in pfBlockerNG Entwicklung / Business Einsatz:

Um dem ganzen Thema etwas vorzubeugen habe ich jetzt größere SSDs bestellt, anstatt 120GB 480GB, die kann dann schon etwas mehr schreiben.

In den Feineinstellungen kann man (wenn ZFS) die Anzahl der Schreibvorgänge etwas reduzieren ...

vfs.zfs.txg.timeout=600

(ist nur ein Beispiel)

slu

Percentage Used:                    67%
Data Units Read:                    22,535 [11.5 GB]
Data Units Written:                 92,432,066 [47.3 TB]
Host Read Commands:                 4,378,418
Host Write Commands:                4,303,452,653
Controller Busy Time:               42,328
Power Cycles:                       25
Power On Hours:                     13,114

[43 Stunden später]
Irgendwann in diesem Zeitraum habe ich den Unbound Python Mode abgestellt.

Percentage Used:                    68%
Data Units Read:                    23,958 [12.2 GB]
Data Units Written:                 92,608,160 [47.4 TB]
Host Read Commands:                 4,405,610
Host Write Commands:                4,309,555,824
Controller Busy Time:               42,356
Power Cycles:                       25
Power On Hours:                     13,157

Was bei diesen Werte auch interessant ist, das System müsste schon ~ 25 Monate online sein, bei den "Power On Hours" komme ich aber nur auf ~ 18 Monate.

Alles etwas komisch, vielleicht sollte ich wieder eine SSD einbauen die nicht so viel Loggt :-)

fireodo

@slu said in pfBlockerNG Entwicklung / Business Einsatz:

Alles etwas komisch

Du wirst lachen - ich habe eine SSD wo nach jedem Reboot/Kaltstart die LBA-written Werte zurückgesetzt werden - will sagen auch auf SMART ist nicht 100% Verlass ...

sebden

@slu said in pfBlockerNG Entwicklung / Business Einsatz:

@sebden
ich kann es dir nicht sagen, im Moment bin ich einfach vorsichtig.

Um dem ganzen Thema etwas vorzubeugen habe ich jetzt größere SSDs bestellt, anstatt 120GB 480GB, die kann dann schon etwas mehr schreiben.

Sicher nicht verkehrt. Machst du das dann über over-provisioning? Ich hatte letztens mal gelesen, dass es auch reicht, die SSD einfach nur nicht auszufüllen mit den Partitionen. Also z.B. nur eine 50GB Partition auf der 480er erstellen.

slu

@sebden
nein, ich verwende die einfach komplett.

Meine Installation hat ja nur wenige GB wenn überhaupt, um den Rest darf sich der Controller in der SSD kümmern.

Als wir vor über 14 Jahren mit den ersten SSDs angefangen haben "musste" man das noch so machen. Inzwischen entscheidet ohnehin der Controller welche Zelle beschrieben wird...

slu

Mit ein paar Parameter mehr (da hätte ich auch selber drauf kommen können) sieht man sehr schön das pfBlockerNG schreibt und auch was passiert wenn man den Python Mode einschaltet:
https://forum.netgate.com/post/1182078