(solved) Neue Hardware mit mehr als 32 GB RAM
-
@noplan du hast dich nicht verlesen, es war erst einmal eine generelle Frage zum RAM und der PFSense.
Aber wie @JeGr schon sagte, PFBlocker und Suricata sind die RAM-Fresser, da ich auch noch eine "dicke" BL verwende für Adult-Inhalte von Université Toulouse Capitole UT1 liegt da auch viel im RAM.
@JeGr ich habe im privaten Umfeld auch schon python Modul aktiviert, ich weiß nur nicht ob ich Probleme bekomme mit dem DNS Resolver - dieser ist bei mir aktiv. Verstehe hier die Abhängigkeiten einfach noch nicht was das für mich bedeutet. :/
Hier mal nur für die Vollständigkeit die RAM-Übersicht: top -aS -o res
last pid: 93572; load averages: 0.31, 0.40, 0.42 up 33+22:29:31 07:42:30 108 processes: 2 running, 105 sleeping, 1 waiting Mem: 413M Active, 8830M Inact, 449M Laundry, 21G Wired, 1572M Buf, 910M Free Swap: 3664M Total, 207M Used, 3457M Free, 5% Inuse PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 23586 unbound 4 20 0 1077M 1043M kqread 1 0:29 0.00% /usr/local/sbin/unbound -c /var/unbound/unbound.conf 95998 root 10 40 20 299M 183M nanslp 3 2:05 0.00% /usr/local/bin/suricata -i igb3 -D -c /usr/local/etc/suricata/suricata_59684_igb3/suricata.yaml --pidfile /var/run/suricata_igb 97889 root 10 40 20 238M 156M nanslp 2 1:35 0.00% /usr/local/bin/suricata -i igb5 -D -c /usr/local/etc/suricata/suricata_22388_igb5/suricata.yaml --pidfile /var/run/suricata_igb 48322 root 10 40 20 330M 145M nanslp 0 1:53 0.10% /usr/local/bin/suricata -i igb2 -D -c /usr/local/etc/suricata/suricata_46357_igb2/suricata.yaml --pidfile /var/run/suricata_igb 64290 root 1 20 0 60164K 31544K piperd 3 0:15 0.00% /usr/local/bin/php_pfb -f /usr/local/pkg/pfblockerng/pfblockerng.inc filterlog 65048 root 1 20 0 56004K 30264K piperd 0 0:01 0.00% /usr/local/bin/php -f /usr/local/pkg/pfblockerng/pfblockerng.inc dnsbl 65586 root 1 52 0 56004K 30072K nanslp 3 0:03 0.00% /usr/local/bin/php -f /usr/local/pkg/pfblockerng/pfblockerng.inc queries 55240 root 1 22 0 108M 29752K piperd 3 0:19 0.59% php-fpm: pool nginx (php-fpm) 65103 root 1 52 0 56004K 29736K piperd 1 0:00 0.00% /usr/local/bin/php -f /usr/local/pkg/pfblockerng/pfblockerng.inc index 73857 root 1 52 0 110M 29020K accept 0 0:50 0.00% php-fpm: pool nginx (php-fpm) 7490 root 1 52 0 108M 27372K accept 0 0:59 0.00% php-fpm: pool nginx (php-fpm) 82240 root 1 52 0 108M 27340K accept 2 0:43 0.00% php-fpm: pool nginx (php-fpm) 67363 root 1 52 0 110M 27324K accept 1 0:47 0.00% php-fpm: pool nginx (php-fpm) 38091 root 1 52 0 108M 27232K accept 2 0:38 0.00% php-fpm: pool nginx (php-fpm) 49859 root 1 52 0 108M 26104K accept 2 0:14 0.00% php-fpm: pool nginx (php-fpm) 10577 dhcpd 1 20 0 16460K 10084K select 1 0:01 0.00% /usr/local/sbin/dhcpd -user dhcpd -group _dhcp -chroot /var/dhcpd -cf /etc/dhcpd.conf -pf /var/run/dhcpd.pid igb4 igb4.2100 igb 53913 root 17 52 0 55896K 9956K sigwai 3 4:04 0.00% /usr/local/libexec/ipsec/charon --use-syslog 417 root 1 20 0 94896K 9780K kqread 3 0:35 0.00% php-fpm: master process (/usr/local/lib/php-fpm.conf) (php-fpm)VG & Danke für die Rückmeldungen.
PS: Habt ihr eine Empfehlung für eine passende Hardware die mit 64 GB umgehen kann, würde mich interessieren was ihr da so kennt und empfehlen könntet.
-
@p54 said in Neue Hardware mit mehr als 32 GB RAM:
Intel(R) Core(TM) i5-4590S
Du hast ja noch 25% frei, bisle früh für Panik!
Zudem wenn die CPU reicht, was hindert sich mal hier 64GB rein zu stecken. Intel Datenblatt?
Da gebe ich schon lange nix mehr drauf, mein NAS sollte auch nur 8GB können, läuft mit 16GB super und andere habe da schon 32GB rein gesteckt.
Da Intel nur eine Grundarchitektur baut und das von Celeron über i7/i9 bis zum Xeon hin vermarktet, ist das auch kein Wunder.Und der Resolver läuft bei mir mit dem Phyton Modus besser als ohne!
-
@p54 said in Neue Hardware mit mehr als 32 GB RAM:
@noplan du hast dich nicht verlesen, es war erst einmal eine generelle Frage zum RAM und der PFSense.
Aber wie @JeGr schon sagte, PFBlocker und Suricata sind die RAM-Fresser, da ich auch noch eine "dicke" BL verwende für Adult-Inhalte von Université Toulouse Capitole UT1 liegt da auch viel im RAM.
@JeGr ich habe im privaten Umfeld auch schon python Modul aktiviert, ich weiß nur nicht ob ich Probleme bekomme mit dem DNS Resolver - dieser ist bei mir aktiv. Verstehe hier die Abhängigkeiten einfach noch nicht was das für mich bedeutet. :/
Hier mal nur für die Vollständigkeit die RAM-Übersicht: top -aS -o res
last pid: 93572; load averages: 0.31, 0.40, 0.42 up 33+22:29:31 07:42:30 108 processes: 2 running, 105 sleeping, 1 waiting Mem: 413M Active, 8830M Inact, 449M Laundry, 21G Wired, 1572M Buf, 910M Free Swap: 3664M Total, 207M Used, 3457M Free, 5% Inuse PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 23586 unbound 4 20 0 1077M 1043M kqread 1 0:29 0.00% /usr/local/sbin/unbound -c /var/unbound/unbound.conf 95998 root 10 40 20 299M 183M nanslp 3 2:05 0.00% /usr/local/bin/suricata -i igb3 -D -c /usr/local/etc/suricata/suricata_59684_igb3/suricata.yaml --pidfile /var/run/suricata_igb 97889 root 10 40 20 238M 156M nanslp 2 1:35 0.00% /usr/local/bin/suricata -i igb5 -D -c /usr/local/etc/suricata/suricata_22388_igb5/suricata.yaml --pidfile /var/run/suricata_igb 48322 root 10 40 20 330M 145M nanslp 0 1:53 0.10% /usr/local/bin/suricata -i igb2 -D -c /usr/local/etc/suricata/suricata_46357_igb2/suricata.yaml --pidfile /var/run/suricata_igb 64290 root 1 20 0 60164K 31544K piperd 3 0:15 0.00% /usr/local/bin/php_pfb -f /usr/local/pkg/pfblockerng/pfblockerng.inc filterlog 65048 root 1 20 0 56004K 30264K piperd 0 0:01 0.00% /usr/local/bin/php -f /usr/local/pkg/pfblockerng/pfblockerng.inc dnsbl 65586 root 1 52 0 56004K 30072K nanslp 3 0:03 0.00% /usr/local/bin/php -f /usr/local/pkg/pfblockerng/pfblockerng.inc queries 55240 root 1 22 0 108M 29752K piperd 3 0:19 0.59% php-fpm: pool nginx (php-fpm) 65103 root 1 52 0 56004K 29736K piperd 1 0:00 0.00% /usr/local/bin/php -f /usr/local/pkg/pfblockerng/pfblockerng.inc index 73857 root 1 52 0 110M 29020K accept 0 0:50 0.00% php-fpm: pool nginx (php-fpm) 7490 root 1 52 0 108M 27372K accept 0 0:59 0.00% php-fpm: pool nginx (php-fpm) 82240 root 1 52 0 108M 27340K accept 2 0:43 0.00% php-fpm: pool nginx (php-fpm) 67363 root 1 52 0 110M 27324K accept 1 0:47 0.00% php-fpm: pool nginx (php-fpm) 38091 root 1 52 0 108M 27232K accept 2 0:38 0.00% php-fpm: pool nginx (php-fpm) 49859 root 1 52 0 108M 26104K accept 2 0:14 0.00% php-fpm: pool nginx (php-fpm) 10577 dhcpd 1 20 0 16460K 10084K select 1 0:01 0.00% /usr/local/sbin/dhcpd -user dhcpd -group _dhcp -chroot /var/dhcpd -cf /etc/dhcpd.conf -pf /var/run/dhcpd.pid igb4 igb4.2100 igb 53913 root 17 52 0 55896K 9956K sigwai 3 4:04 0.00% /usr/local/libexec/ipsec/charon --use-syslog 417 root 1 20 0 94896K 9780K kqread 3 0:35 0.00% php-fpm: master process (/usr/local/lib/php-fpm.conf) (php-fpm)VG & Danke für die Rückmeldungen.
PS: Habt ihr eine Empfehlung für eine passende Hardware die mit 64 GB umgehen kann, würde mich interessieren was ihr da so kennt und empfehlen könntet.
Also ich hab da mehrere Probleme:
-
Unbound hat man so oder so, egal welchen Modus man fährt. Das neue Python Modul spart aber ENORM an RAM! Umstellen und testen schadet da nicht.
-
Ich sehe in dem TOP (vielleicht ungeschickte Parameter) keinen Prozess der mir auffällig sagt "Ich brauche 16G RAM!". Da würde ich liebend gern mal sehen, wer zum Geier das sein sollte, denn laut Res Liste braucht selbst Unbound nur grob ein Gigabyte. Entweder werden da Assets gecached wie die DNS Listen von Unbound die aktiv im Speicher kleben weil der Python Mode nicht an ist oder da läuft was anderes faul. Kann man ja bspw. sehen, wenn man den Resolver mal kurz stoppt und schaut wie sehr der RAM droppt. Oder Surricata mal kurz anhalten - RAM checken und wieder starten. Davon geht auch im Live Betrieb die Welt nicht unter.
Kurzum: ich halte selbst die 32GB für schon komplett overdosed weil für den Anwendungszweck falsch konfiguriert und klar kann man sich da 64GB reinballern und HW dagegen werfen nur ob das Geld da sinnvoll angelegt ist - nun das sollte jeder für sich entscheiden. Ich sehe da in der Auflistung deiner Dienste nichts, was ich nicht locker auch mit einem i5 und 8-16G RAM locker geschaukelt bekomme.
Zur Hardware: Klar gibts Hardware mit ordentlich Bumms und RAM bspw. für Datacenter/ISP Einsatz, die dann eben viel mit 10G+ rummachen und da muss man schon schweres Geschütz auffahren, wenn man das mit pfSense machen möchte. Da ist dann aber eher die Nutz-Frage zu stellen, ob man da nicht Dinge anders löst (bspw. mit TNSR oder ähnlichem) was die Hardware dann ab 10G aufwärts wesentlich(!) besser nutzt.
Aber ja Hardware gibts. Wir haben da bspw.:
- https://www.scope7.de/en/hardware-en/medium/scope7-4210-fiber-en -> kann man auch mit Xeon E3 und mehr RAM bestellen und durch die Modular Bay ganz rechts kann man da problemlos 14 Gigabit NICs fahren - oder man nimmt statt 8x Gigabit 2x/4x 10G SFP+ und macht das dann mit VLANs und weniger Streß
- https://www.scope7.de/en/hardware-en/large/scope7-5210-en -> noch modularer, redundantes Netzteil, kommt schon mit Xeon E3 kann man dann auch hochpimpem mit E5 oder mehr. 64GB RAM gehen da auch problemlos.
oder dann full-enterprise:
- https://www.scope7.de/en/hardware-en/enterprise/scope7-5510-en -> Xeon+64GB RAM plus full modular Slots (4) zum eigenen Bestücken
- https://www.scope7.de/en/hardware-en/enterprise/scope7-6210-en -> ISP/Carrier device mit Dual Xeon und 128GB RAM Grundausstattung und mehr Ports als man jemals in ner Firma bräuchte
Also ja: Hardware is da
-
-
@jegr danke für deine Ausführung.
Also hier nur die Size:
last pid: 58014; load averages: 0.41, 0.43, 0.46 up 34+03:08:12 12:21:11 309 processes: 5 running, 247 sleeping, 57 waiting Mem: 280M Active, 8120M Inact, 1323M Laundry, 21G Wired, 1572M Buf, 875M Free Swap: 3664M Total, 337M Used, 3327M Free, 9% Inuse PID USERNAME PRI NICE SIZE RES STATE C TIME WCPU COMMAND 23586 unbound 20 0 1087M 1056M kqread 3 0:40 0.00% unbound{unbound} 23586 unbound 20 0 1087M 1056M kqread 0 0:06 0.00% unbound{unbound} 23586 unbound 20 0 1087M 1056M kqread 0 0:05 0.00% unbound{unbound} 23586 unbound 20 0 1087M 1056M kqread 2 0:01 0.00% unbound{unbound} 95998 root 40 20 315M 141M uwait 0 2:16 0.00% suricata{FM#01} 95998 root 40 20 315M 141M bpf 1 0:34 0.00% suricata{RX#01-igb3} 95998 root 40 20 315M 141M uwait 2 0:33 0.00% suricata{W#03} 95998 root 40 20 315M 141M uwait 3 0:29 0.00% suricata{W#02} 95998 root 40 20 315M 141M uwait 1 0:26 0.00% suricata{W#04} 95998 root 40 20 315M 141M nanslp 2 0:26 0.00% suricata{suricata} 95998 root 40 20 315M 141M uwait 0 0:21 0.00% suricata{W#01} 95998 root 40 20 315M 141M uwait 2 0:01 0.00% suricata{FR#01} 95998 root 40 20 315M 141M sbwait 3 0:00 0.00% suricata{suricata} 95998 root 40 20 315M 141M sbwait 1 0:00 0.00% suricata{suricata} 48322 root 40 20 314M 125M uwait 3 2:17 0.00% suricata{FM#01} 48322 root 40 20 314M 125M nanslp 2 0:27 0.00% suricata{suricata} 48322 root 40 20 314M 125M bpf 1 0:18 0.00% suricata{RX#01-igb2} 48322 root 40 20 314M 125M uwait 2 0:10 0.00% suricata{W#03}hinzu kommt ja noch /tmp mit 2GB und /var mit 15 GB (welches mit 94% belegt ist) somit komme ich auf meine 26 GB ca.
Aber ja ich teste es mal mit dem Suricata und PFBNG mal aus was er dann dazu sagt.
VG
-
Wow. Die Scope7 Produkte sind ja sehr interessant.
Mal sehen was die kosten. Danke für den Hinweis. -
@jegr said in Neue Hardware mit mehr als 32 GB RAM:
https://www.scope7.de/en/hardware-en/enterprise/scope7-6210-en
Das macht so lange Spaß, bis du die Stromrechnung nach 1 Jahr 24/7 bekommst.
-
@p54 said in Neue Hardware mit mehr als 32 GB RAM:
hinzu kommt ja noch /tmp mit 2GB und /var mit 15 GB (welches mit 94% belegt ist) somit komme ich auf meine 26 GB ca.
Wait du hast var und tmp im RAM? Dafuq? Warum das? Das macht doch seit Jahren kein Mensch mehr?
-
@jegr ja dies wurde vor ca. 2 Jahren von mir so eingerichtet. Dachte damit könnte ich den Schreibzyklus der SSD minimieren und somit die Lebensfähigkeit etwas verlängern.
Sollte ich mich aus alten Zeiten nicht weiter entwickelt haben, tue ich es jetzt gern. ;) Aber warum braucht man dies nicht mehr?
@NOCling ach das mit dem Strom ist in der Firma nicht ganz so dramatisch, zumal es wegen ein paar 100 Watt auch nicht auch nicht mehr darauf ankommt im Serverraum ;)
-
@p54 said in Neue Hardware mit mehr als 32 GB RAM:
Sollte ich mich aus alten Zeiten nicht weiter entwickelt haben, tue ich es jetzt gern. ;) Aber warum braucht man dies nicht mehr?
Weil keine SSD die den Namen verdient hat bei aktueller Schreiblast des Core Systems in 3-5 Jahren an ihre Minimale Belastungsgrenze kommt. Das war für SD Karte und CF Karten und ggf. USB Sticks noch interessant. Für kommerzielle oder server-grade SSDs die man hier meistens verbaut ist das schon länger komplett uninteressant. Solange man hier keinen Squid Cache mit Multi-Gigabyte Cache Dir betreibt oder Gigabyte weise Logs schreibt und löscht, ist das bei einer vernünftig großen SSD kein Ding. Die meisten SSDs die man bekommt sind bereits 64-128GB groß weil die kleineren kaum mehr Preis/Leistungsrelevant sind. Bei 2-3GB Core Installationsgröße sind selbst +10G Logfiles mit 15GB von 128GB used kein Speichervolumen, das eine SSD juckt, denn bis die Zellen ermüdet wären hast du durch gutes Wear Leveling noch ~80GB andere Zellen auf die die Daten verteilt werden womit sich das ganze Ding kaum ermüdet. Ich hab nach 5 Jahren immer noch keinen einzige SSD Ausfall bei unseren Kunden.
Zudem sind manche Daten in /var zu relevant als dass man die bei PowerLoss verlieren möchte.
Cheers :)
-
@jegr okay wenn das so ist. Ja ich habe dies wirklich noch aus der CF Ära im Kopf übernommen für mich und ehrlich gesagt nicht weiter als "unnötig" empfunden. Aber jetzt sehe ich es auch ein, gerade bei einem harten shutdown . Werde es bei meiner Migration auf die neue HW dann gerade biegen, somit sollten mir dann auch wirklich die 32 GB RAM für länger ausreichen. :)
Grüße vom Vertrieb von Scope7 soll ich sagen ;) Habe mich für die 4210-XL entschieden. Ist ja dank i7 höher skalierbar wenn dann doch einmal der Bedarf da sein sollte.
VG
-
@p54 Schön zu hören :)
Scope7s hätten wir dir auch anbieten können ;) Kurze Info hätte gereicht :)
-
Was kosten die Dinger denn so?
Und warum schrauben die keine Preise an die Kisten? -
@nocling Weil Distributor und Distris machen den Händlern selten die Preise kaputt ^^
