Hardware: Supermicro SYS-5018A-TN7B empfehlenswert?



  • Hallo

    Wir planen die Umstellung unserer alten Firewall-Lösung auf eine redundante pfSense. Als Fundament hätte ich jetzt 2 x eine Supermicro SYS-5018A-TN7B ausgewählt. Zzgl. 16GB RAM und 120er SSD. Die Internetverbindung ist 100MBit syncron. Das interne Netz hat 1 GBit Infrastruktur. Neben der Frage, ob diese Plattform uneingeschränkt für pfSense mit ~700 User taugt, hätte ich noch folgende Frage:

    Lässt ein System mit Failover Konfiguration zu, dass die Dienste wie Web-Proxy, OpenVPN, etc. Loadbalancing unterstützen, solange die beiden Appliances dann aktiv sind? Wo kann ich entsprechende Konfigurationsbeispiele dazu finden? Reicht der Guide aus, den es für die Gold-Subscription dazu gibt?

    Danke und Gruß
    Exo


  • Rebel Alliance Moderator

    pfSense mit ~700 User taugt

    Hallo Exordium,

    ob 700 User gehen oder nicht, liegt eher daran, was ihr außer Routing etc. noch für weitere Pakete einsetzt. Die 5018A Serie ist ja im Prinzip bis auf die Ausführung gleich bestückt mit einem C2758 Atom SOC. Egal ob jetzt (F)TN4 oder TN7B. Und im Prinzip ist das auch nichts anderes, als pfSense selbst in den XG-2758 verbaut. Die alte 2758er 1HE Kiste, die pfSense im Angebot hatte, war zudem ja nichts anderes als eine SM 5018A-FTN4. Wir haben selbst eine im Einsatz - nicht für 700 User aber trotzdem - und bislang haben wir die auch mit Gigabit Linespeed WAN auf 4 LANs nicht ins Schwitzen bekommen, allerdings läuft darauf auch kein Squid o.ä. (wird an der Stelle nicht benötigt). Insofern sollten deine 100MBit/s WAN das Ding eigentlich kaum tangieren ;)

    Lässt ein System mit Failover Konfiguration zu, dass die Dienste wie Web-Proxy, OpenVPN, etc. Loadbalancing unterstützen, solange die beiden Appliances dann aktiv sind?

    Bevor ich jetzt was falsches sage: Wie ist der Satz genau gemeint?

    Wo kann ich entsprechende Konfigurationsbeispiele dazu finden? Reicht der Guide aus, den es für die Gold-Subscription dazu gibt?

    Kommt wie gesagt darauf an, was ihr sonst noch für Pakete einsetzt und was sonst noch für Rahmenbedingungen mit einspielen.

    Beste Grüße



  • Bevor ich jetzt was falsches sage: Wie ist der Satz genau gemeint?

    Nun, die zweite Appliance soll nicht faul mitlaufen und nur darauf warten bis die erste Kiste stirbt (failover), sondern aktiv am Geschehen mitwirken und ihr Arbeit abnehmen (Arbeitsteilung, Loadbalancing hinsichtlich der konfigurierten/genutzten Dienste) Wenn eine Kiste sterben sollte, muss die andere das aber notfalls alleine abkönnen… Verfügbarkeit ist wichtig für uns. Es darf z.B. nicht passieren, dass das Netz steht, nur weil sich eine Kiste z.B. mal an einem Update o.ä. "verschluckt" hat!

    Wenn es eine anders bestückte Appliance mit "fetterem" Netzwerkprozessor gibt, hab ich auch keine Probleme damit. Dem Ding darf halt nicht die Puste ausgehen. Stromverbrauch und Kosten sind fast irrelevant für mich. Das Teil muss nur laufen für min. die nächsten 5 Jahre!

    Garantierte Einsatzgebiete:

    • Squid Proxy mit AV und Guard
    • Squid Reverse Proxy
    • Viel OpenVPN (20 Router und 150 RoadWarrior momentan - Anzahl zunehmend)
    • Wenig Ipsec
    • Dedizierte WLANs für firmeninterne und externe Geräte - evtl. mit Captive Portal Unterstützung
    • DMZ Funktionalität
    • Anbindung der pfSense an das bestehende Monitoring System (Nagios basiert)
    • Bisserl Routing und Trafficforwarding - hier nichts außergewöhnliches

    Das fällt mir jetzt so spontan ein.

    Gruß
    Exo



  • Für die genannten Anforderungen und die geplanten fünf Jahre halte ich den Atom zu klein.

    Wozu die vielen NICs?



  • Für die genannten Anforderungen und die geplanten fünf Jahre halte ich den Atom zu klein.

    Dann schlag mal was vor!

    Wozu die vielen NICs?

    Die sind da halt eingebaut. Ich brauch sicher auch keine 7 USB oder 6 Sata Ports in der Firewall. Kann sie ja schlecht herausoperieren.
    Aber dazu frage ich ja Euch! Wer hat denn eine pfSense in einer ähnlichen Umgebung laufen und kann eine Aussage machen?

    Scheinbar laufen alle FW Lösungen die ich einsetzen möchte nur in Heimnetzwerken oder 3 Mann-Büros :-(



  • https://www.thomas-krenn.com/de/produkte/rack-server/1he-server/intel-single-cpu/intel-single-cpu-ri1102-h.html

    Ich hatte zwei laufen auf Dell R310 Basis aber durch Sonicwall ersetzt.



  • Gut. "Normale" 1 HE IBM/Lenovo Serverbleche habe ich hier auch rumliegen. Mit E5-2600 v3 (6-8Core) CPU und bis 6 Intel NICs. Allerdings könnten die durchaus des Guten etwas zu viel sein. Aber das wäre mir lieber, als zu knapp kalkuliert. Ob die jetzt als Windows Dateiserver verenden oder etwas sinnvolles tun… :-)

    Also lieber nen kleinen, modernen Xeon als Unterbau nehmen? Wie sieht es dann mit der Hardwarekompatibilität aus?


  • Rebel Alliance Moderator

    Auf 5 Jahre gesehen kann man das durchaus knapp sehen, aber das hängt auch davon ab was Exo sagt, wie das Wachstum aussieht und was auf der Kiste laufen soll. Wie gesagt, ich sehe 100MBit/s als Außenanbindung und das ist nicht viel. Das würde man auch problemlos mit was kleinerem als dem Atom wegwuppern und unsere Gigabit Darkfiber fahre ich mit dem Atom schon seit 3 Jahren problemlos. Es hängt eben immer davon ab, was an Paketen und Co noch dazu kommt. Hier ein klein wenig mehr Info wäre hilfreich.

    Allerdings bietet pfSense selbst die XG2758 inzwischen mit 10G SFP+ Ports Anbindung an. Ich bezweifle, dass die die Kiste mit 10G ausstaffieren würden, wenn sie dazu meinen, dass sie das nicht im Ansatz packen kann. :)

    Ansonsten gibt es ja auch noch den Xeon D(E)-SOC, der sich in dem Bereich Netzwerk Appliance positioniert und da m.E. sinnvoller als StepUp wäre als gleich nen Server Xeon auszupacken. Bspw. den Xeon D-1518 oder D-1540.

    Grüße



  • Also, den Ist-Zustand kannst Du paar Posts darüber sehen. Was Anwendungen und Zugriffe betrifft. Natürlich sind da beim VPN 150 RW konfiguriert. Aber max. 10% simultan online. Den Proxy werden vielleicht 30-50% der Belegschaft am Tag nutzen. Und auch die klicken nicht permanent Webseiten an, sondern arbeiten auch mal was zwischendurch. Ansonsten kommt über die Verbindung noch Mail rein und es gibt Zugriffe von den iPhones/iPads, die Mails und Kalender syncen, etc.

    Belegschaftswachstum. Na, hier rechne ich in den 5 Jahren mit max. 10%. Was jetzt den Herren über mir natürlich noch so an Internetanwendungen plötzlich einfällt - das weiß ich heute nicht.


  • Rebel Alliance Moderator

    Also von dem was ich lese würde ich mal grob behaupten, dass der Atom SOC oder der kleine Xeon-D SOC reichen sollte. Ich kann zwar gerade keine Aussage über Last von Squid bei ~100-200 Usern machen (wird da eher gecached oder stark gefiltert?) aber vom Gefühl her würde ich sagen das reicht dicke. Mail etc. ist alles nur geroutet, frisst ergo keine große Performance. Einzig die VPNs drücken etwas, und bei ~15-30 Roadwarrior die online sind, würde ich sagen ist das auch gut gegessen. Sind die VPN RWs OpenVPN oder IPSec? IPSec könnte hier von AES-NI IMHO momentan noch besser profitieren, prinzipiell macht das aber auch den Kohl nicht fett.

    Zum Vergleich: wir haben ohne Proxy einen C2758 Atom bei Kunden an Gigabit WAN + darüber 100MBit/s VPN zu 2 Standorten. Und da geht auch OWA/Exchange Kram drüber + Officegebäude mit angeschlossenen Firmen via VLAN separiert ca 50 User. Traffic ist da wirklich auch mitunter das Gigabit ausgereizt, weil deren Leitung noch über ein RZ läuft und die darüber natürlich noch ordentlich andere Dienste fackeln. Und da reicht die CPU auch gut aus. Wie gesagt, wenn man ggf. noch Wachstum und andere Dienste mit im Hinterkopf halten will, kann man sich ja mal die Xeon Ds anschauen, höher wird es aber - IMHO(!) - nicht müssen.
    Wir haben da selbst gerade für ein Projekt in RZs die SYS-5018D-FN8T geordert und werden die die nächsten 1-2 Wochen mal testen, da verspreche ich mir durchaus Leistungsreserven - sprich die Kiste wird sich langweilen ;) Aber mit dem dem Xeon als 4Kerner + den 6 NICs ist die Kiste eine echt tolle Zwischenlösung zwischen Atom C2758 und Xeon D1540/1541.

    Grüße



  • Prima. Bitte auch nochmal Post #1 im Thread beachten: Ich möchte die Kiste ja x2 installieren. Wäre mir schon lieb, wenn die sich die Arbeit teilen könnten und nur im Fehlerfalle eine Maschine alles alleine machen müsste. Diese Frage konnte man mir leider noch nicht zufriedenstellend beantworten.



  • Das SYS-5018D-FN8T macht einen super Eindruck.

    Bezüglich des Active-Active-Clusters. Nein, das kann pfsense nicht so richtig.

    Habt ihr Windows Client OS Enterprise? Schon mal was von Direct Access gehört?


  • Rebel Alliance Moderator

    Diese Frage konnte man mir leider noch nicht zufriedenstellend beantworten.

    Weil sie in der Klarheit noch nicht gefragt war ;) Man hätte die Ursprungsfrage auch anders interpretieren können, deshalb meine Nachfrage. Aber wie shiversc schon schreibt: Nein, pfSense ist als active-passive Cluster ausgelegt, nicht als active-active. Das kann CARP in der Implementation von FreeBSD (noch) nicht leisten.

    OpenBSD (wo CARP/pf auch herstammen) kann bereits länger mit active/active umgehen, so dass die Zeit das Feature sicher auch zu FreeBSD und pfSense bringen werden :)



  • Ich denke fast keine der Fragen kann man wirklich beantworten., weil dazu zu viele Infos fehlen.
    Bezüglich der fünf Jahre und zu vermutenden Wachstum würde ich "groß" planen.

    Meiner Meinung nach, sollte auch ganz genau überlegt werden, dass selbst mit einer Supportsubscription, die pfsense das richtige Produkt für alle genannten Anforderungen ist.



  • Hi. OK, das mit dem noch nicht implementierten active-active cluster Szenario sollte kein Beinbruch sein. Der Failover ist wichtiger. Dann muss eben der Unterbau etwas großzügiger ausfallen. Es ist natürlich auch kein Problem nach 3 Jahren schon mal die Plattform zu wechseln, wenn es denn die Umstände erfordern. Vielleicht steigt ja das Firmeninteresse plötzlich an mehr internetbasierten Diensten. Dann müssen die Mittel für entsprechenden Ausbau eben im Rahmen des Projektes locker gemacht werden. Aber das ist Politik, ich kümmer mich lieber um die Technik. Die normale Vorgabe lautet für mich: Server- Storage- und Netzwerkkomponenten auf 5 Jahre planen.

    Das Sys-5018D sieht gut aus. Da werde ich mich dann wohl auch daran orientieren. Die Daten entsprechen in etwa dem derzeit laufenden Linux-Firewall-System. Und das ist ist ja auch vom Alter her schon min. 2 CPU Revisionen hintendran (und langweilt sich).

    Ich habe momentan eine kleine Atom-Büchse mit pfSense im Test laufen und alles aktiviert was ich später im größeren Stil benötige. Eine Hand voll "Auserwählter" arbeitet (ohne es zu wissen) darüber und ich habe bisher keinerlei Merkwürdigkeiten feststellen können. Von daher denke ich schon, dass die pfSense eine gute Wahl sein wird. Wäre natürlich prima evtl. noch Wortmeldungen zu bekommen, von jemandem der auch ne pfSense im Umfeld mit 500-1000 Usern einsetzt. Aber da passt das ursprüngliche Thema wohl nicht so ganz…



  • Addendum: Habe jetzt 2 x das SYS-5018D-FN8T mit dem 4-Kern Xeon geordert. Der Aufpreis ist marginal. Mit 16GB und 2.5" Plattentray bleib ich immer noch unter 1000€ netto pro Stück. In jedes System kommt noch eine vorhandene 128er SSD rein und dann kann es losgehen!



  • Kannst du bei Gelegenheit noch was über die Leistungsaufnahme posten mit der SSD?
    Danke


  • Rebel Alliance Moderator

    Fein! Freut mich zu hören - bin gespannt wie eure Erfahrungen mit den Maschinen sind :)



  • @Exordium:

    Addendum: Habe jetzt 2 x das SYS-5018D-FN8T …

    Hab den Thread leider erst jetzt gesehen, und war gleich auf der Linie von shiversc (der C2000 ist zu klein), aber bitte komm nicht mit nem Xeon E v.irgenwass. Da muss ein Xeon-D rein! ;) Absolut richtige Entscheidung. Allenfalls zu überlegen wäre ob du eine mSATA SDD einbauen möchtest? Ich hab meine APU mit einer Samsung 850 EVO (MZ-M5E120BW) bestückt, rennt 1A.  ;)



  • Danke nochmals hier vermutlich die richtige Entscheidung getroffen zu haben. Deswegen habe ich die Diskussion ja auch angestossen. Von den "normalen" 128er SSDs habe ich noch min 1 Dutzend hier herumliegen (meist 840er Samsung, paar Vertex 4 aber auch 850er). Daher wollte ich hier jetzt nicht noch was zusätzlich kaufen.


  • Rebel Alliance Moderator

    Kann man auch problemlos noch nach hinten schieben, die SM Xeon-D Barebones können ja bereits m.2 ssds nutzen, die dann durchaus später interessant sein können. Ansonsten ggf. nen Cage mit 2 normalen SSDs als gmirror raid-1 und fein :)



  • @JeGr:

    Ansonsten ggf. nen Cage mit 2 normalen SSDs als gmirror raid-1 und fein :)

    So war das ursprünglich angedacht. Ich bezweifle, dass ich hier einen Unterschied zwischen der M.2 und normalen SSD bemerken werde. Ob letztere jetzt paar Watt mehr verbraucht, ist mir relativ egal.


  • Rebel Alliance Moderator

    Ist an der Stelle laut Supermicro eigentlich nur wegen kleinerer Bauform relevant da die M.2 keinen extra Cage benötigt und man auch keine Kabel oder sonstigen Verdrahtungen braucht. Damit auch der Airflow gerade in kleinen Gehäusen besser. Es gibt für die Mainboards ja auch kleine Desktop Gehäuse. :)



  • Die stehen später im klimatisierten RZ mit Kaltluft-Injection direkt an der Gehäusefront vorm Schaltschrank.



  • So, sind angekommen. Speicher rein, Platten rein. Testlauf ok

    Verbrauch pro Kiste mit 2 x 8GB + 2 x Samsung 840 Evo ~50W

    Es waren schon 2 Schächte eingebaut für SSD, allerdings scheint man bei SuperMicro diese nie getestet zu haben. Die Platte sitzt in diesen so weit unten, dass zwischen Motherboardkante und Platte nur ein relativ schmaler Schlitz übrig bleibt. Ein SATA + Stromanschluss zu verbauen ist fast nicht möglich, ohne irgendwas am Board abzuquetschen. Im Doppeltray ist die Aufnahme der Platten weiter oben und somit über der Motherboardkante. Immer noch eng, aber man muss keine Angst haben, hier was platt zu machen.

    Mal schauen ob ich diese Woche noch zum Installieren komme…




  • Ich nutze den Thread einfach mal weiter, um über die Installation der pfSense auf den beiden SYS-5018D-FN8T zu berichten. Natürlich beantworte ich auch Fragen, die im Zusammenhang mit diesem System und den gemachten Erfahrungen bei der Installation/Betrieb stehen.

    Tag1:
    Die beiden Systeme wurden über ein USB-DVD Rom mit einem 2.3.1 Release der pfSense installiert. Die Installation lief problemlos durch. Auch das Einrichten der Plattenspiegelung war über die entsprechende Menüauswahl völlig schmerzlos. Die BIOSse der beiden Kisten waren schon gut voreingestellt. Nur wenige Parameter mussten noch leicht (auf meine Bedingungen) angepasst werden. Die 2 SSDs und die 2 x 8 GB Samsung ECC RAM wurden sauber erkannt.

    Nachdem die beiden Maschinen ihre fixe LAN IP bekommen hatten, durften sie auch gleich fest verschraubt und verdrahtet im RZ Platz nehmen. Über das Webinterface wurde auf beiden Maschinen die Netzwerkgrundeinstellungen vorgenommen und der CARP Cluster entsprechend konfiguriert. Die Konfigurationsänderungen werden von der Primary sauber auf die Backup-Kiste repliziert. Dann war Tag1 auch schon gelaufen…


  • Rebel Alliance Moderator

    Fürs RZ dann auch gleich via IPMI OOB in Betrieb genommen? :)
    Und was hast du für eure Bedingungen im BIOS abgewandelt? Pure Neugier ;)



  • Das IPMI hab ich mir noch nicht angesehen. Ich nehme an, das ist die Remote-Servicefunktion ähnlich dem IMM wie ich es von unseren IBM/Lenovo Server her gewohnt bin!? Werde ich auf jeden Fall noch machen.

    Angepasst habe ich: PXE aus, die Bootreihenfolge abgeändert… hmmm, noch was? War jedenfalls nichts kritisches. Die Maschine hätte sich jedenfalls problemlos und ohne Einschränkungen auch "out of the box" betreiben lassen. Das PXE schalte ich prinzipiell weg. Wir haben eine Softwareverteilung im Einsatz und ein Kollege hat mir schon einmal eine PC-Client-Installation aus Versehen auf nen Server gepusht... Da habe ich mich riesig darüber gefreut...


  • Rebel Alliance Moderator

    Das IPMI hab ich mir noch nicht angesehen. Ich nehme an, das ist die Remote-Servicefunktion ähnlich dem IMM wie ich es von unseren IBM/Lenovo Server her gewohnt bin!? Werde ich auf jeden Fall noch machen.

    Ja eigentlich sogar recht ähnlich. Vielleicht nicht ganz so umfangreich wie ein IMM mit Lizenz aber für das meiste recht es Dicke.

    OK PXE und Co waren klar, ich dachte das waren jetzt tatsächlich noch System Spezifika mit bei, die hätten mich interessiert ;)


Log in to reply