OpenVPN Durchsatz - wie 200Mbit schaffen?

m0nji

@sensemann
wie ist die genaue bezeichnung des Qotom Teils, welches du jetzt bestellt hast. Habe aktuell ein Kettop (Qotom Ableger) mit einem Celeron J1900 und muss schon alleine wegen der 2.5er Version von pfSense mir langsam aber sicher Gedanken über eine neue Kiste machen.

JeGr

@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Puh, ich kann die fertige SuperMicro Appliance 1HE (oder Nachfolger) aus meine Signature empfehlen.

Kann ich leider nicht. Fliegen bei uns raus (im Test/Office) weil zu lasche Performance für das was sie kosten. Die "Sparbrötchen" (keine Ahnung wo die Idee herkommt) Appliances sind spezialisiertere Netzwerkhardware. Wo eben nicht wie bei der Supermicro Torte einfach Server HW zusammengeklebt ist. Nachdem wir jetzt noch zwei andere Kunden haben wo die relativ unterirdisch performen, fliegen diese Metabrötchen ;) jetzt bei uns raus. Und kommen nur noch ordentliche Netzwerkhardware mit rein. Und die C3000er Denverton Atoms sind so gut wie fertig um die alten 2000er abzulösen - und das mit genug Luft nach oben :D Zum Sparen ist das nix, aber wie @Rico schon richtig sagt - und unsere Kunden auch - ist ne ordentliche Lösung und Hardware mit Support Vertrag denen lieber als irgendwas selbstgebautes/zusammengeschraubtes, wo nur die Einzelkomponenten (siehe Supermicro) Support haben. Und selbst Netgate scheint da jetzt was bemerkt zu haben, wenn man sich die SG-5100 scharf ansieht ;)

Genau DAS ist ja leider der Pferdefuß bei OpenVPN.

Jep, Single-Core bound. Dafür geht die Geschichte ja m.W. mit OVPN 3 in Richtung Multicore. Da was zu erfahren ist allerdings leider nicht so einfach.

und vielleicht noch ein IDS drauf hat, ist es nie verkehrt genügend RAM zu haben.

OK Butter bei die Fische: Warum will eigentlich jeder zu Hause ohne wirklich triftigen Grund irgendein Guffel-IDS/IPS ausrollen ohne dass das jemand braucht? Kann mir das mal jemand näherbringen? Warum muss ich meinen ausgehenden Mist, den ich selbst verbreche auch noch Tiefenfiltern auf Layer 7??
Entzieht sich mir einfach komplett, sorry ;)

Gruß

Exordium

Ich kann nur empfehlen, was ich auch schon selbst im Einsatz hatte und nachweislich das was vom TE gefordert wurde, auch kann. Ich habe zusätzlich kleine Atoms und Celerons in einigen "Netzappliances" und die schaffen das nicht. Punkt. Dass die neueste Generation an Atoms und Celeron Spar-CPUs inzwischen soweit ist, bestreite ich nicht.

Man liest hier oft genug, dass man sich mit völlig untermotorisierter HW dann ärgert, dass dies oder das nicht gescheit performed. Für das reine Firewalling / Packetfiltering reicht auch ein Pi ...

JeGr

@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Man liest hier oft genug, dass man sich mit völlig untermotorisierter HW dann ärgert, dass dies oder das nicht gescheit performed.

Sicherlich richtig. Leider auch der Grund, warum diese Xeon-Ds rausflogen, die mögen beim Netzwerkdurchsatz noch ganz annehmbar gelaufen sein, aber die GUI war extrem langsam und bei vielen CARP IPs und Failover flogen die teilweise komplett mal 5-10min weg. Sowas nicht nur bei sich sondern auch beim Kunden zu sehen schreckt dann ab ;)

Ein Pi ist zwar sicher untertrieben aber für reines Filtern reicht sicher was kleines, gar keine Frage. Ich habe da lediglich gegen argumentiert, weil solche Posts und Threads gern aus dem Zusammenhang gerissen dann zitiert und kommentiert werden. Daher habe ich lediglich eingeworfen, dass andere Layouts/Setups durchaus funktionieren können.
Aber wie du schon sagst, das OT war: 200Mbps OpenVPN Durchsatz - richtig, da muss was größeres an CPU her. Völlig d'accord ;) Und unter nem i5 würde ich da auch nicht ansetzen, gerade wegen der bekannten oben diskutierten Limitationen (single core etc.) und da freut man sich dann sicher über Kisten mit i5/e5 oder höher und hoher Taktzahl :)

OT: wenn endlich mal die dämlichen Test VMs allesamt ordentlich performen würden und sauber mit v4/v6 spielen, könnte ich auch endlich mal selbst testen und Werte beisteuern.

Exordium

Hattest Du mir nicht damals empfohlen, einen Xeon-D zu nehmen? <scratchhead/>

In unserem RZ hatte ich früher immer die 3 Jahre alten echten 1 HE Serverbleche mit "vollwertigem" Xeon für die Firewall genommen. Die hatten immer schon 4 x 1GBit Intel NIC, RAM wurde auf 8-16GB verkleinert und eine gespiegelte HDD belassen. Da kratzte es mich nicht, ob die Kiste 30 oder 300W frisst :-)

In 6 Außenbüros habe ich auch Atoms und N3xxx Appliances laufen. Aber die machen nur bisserl Paket Filtering und Web-Proxy. Da sind die Teile richtig gut.

JeGr

@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Hattest Du mir nicht damals empfohlen, einen Xeon-D zu nehmen? <scratchhead/>

Damals als sie rauskamen und auch die XGs bei Netgate kamen, richtig. Allerdings haben wir recht schnell bemerkt, dass sie bei uns völlig hinter den Erwartungen zurückgeblieben sind. Das mag ja unser Use Case sein - Pech für uns ;) Aber dann hat sich das Verhalten auch bei anderen SM Xeon D Kisten bei Kunden gezeigt, was enorm lästig war, gerade wenn wir die Dinger empfehlen sollen. Deshalb haben wir die Empfehlung nach ca. 9 Monaten zurückgenommen und auch keine weiteren mehr verkauft. Der Xeon-D mag von Intel für den Communication Betrieb konzipiert worden sein, so wie die SM Boards den aber anbinden und nutzen - und leider auch wie träge die CPU in "normalen" Aktionen ist (und Webserver + PHP für die UI ist eben kein direkter Network-only Betrieb) war das für uns in größeren Umgebungen (also größer als C2000 Atom bei kleinen und mittelgroßen Offices oder bei größeren Datendurchsätzen oder LAN/VLAN Infrastrukturen) einfach leider nicht mehr tragbar. Daher ist ab der Größe inzwischen eine Appliance mit i5 und für größere Gebiete ein i7/e5/e7 verbaut was einen enormen Unterschied bei gleichem Setup macht.

Seitenaufbau auf der Xeon-D Anzeige der Filterregeln auf dem WAN (nur Liste der Regeln anzeigen): bis 20s
Seitenaufbau auf neuer Appliance mit i5/i7: ~2s

bei sonstigem gleichen Aufbau. Das ist sicherlich abhängig vom Einsatzzweck/Gebiet, völlig klar, aber wie beschrieben dadurch für uns nicht mehr tragbar. Sollte mit 2.5 oder später mal die UI entkoppelt sein und es nur noch um reine Network Performance gehen, kann das sicherlich anders sein, bis dahin haben wir aber die UI noch mit in der Rechnung die auch sauber funktionieren muss :) Und da mit bei einem CARP Failover von ~60VIPs häufiger dann wegen IRQ und UI Problemen die ganze Kiste wegstirbt, ist das eben sehr unschön.

In unserem RZ hatte ich früher immer die 3 Jahre alten echten 1 HE Serverbleche mit "vollwertigem" Xeon für die Firewall genommen.

Hatten wir vorher auch, die Kiste war dann allerdings echt mal mega überdimensioniert ;)
Und beim Rest sind wir da sicher auch D'accord :)

sensemann

@m0nji

habe
Product properties: 16G RAM 128G SSD + Q550G6 6200U NO WiFi
€ 378,72 X1
https://www.aliexpress.com/item/Qotom-Mini-PC-with-Celeron-Core-i3-i5-Pfsense-AES-NI-6-Gigabit-NIC-Router-Firewall/32863096123.html

Kann aber noch 1-3 Wochen dauern bis es da ist. Melde mich dann wenn ich Ergebnis habe.

Exordium

@jegr said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

... und leider auch wie träge die CPU in "normalen" Aktionen ist (und Webserver + PHP für die UI ist eben kein direkter Network-only Betrieb) ...

Allerdings muss ich dazu sagen, dass gerade bei vielen Daten und größeren Listen der CARP Faktor (Failover-Konfig) einen viel stärkeren (negativen) Einfluss hat. Teilweise gibt es Seiten die auf einer Single-Firewall 10-20x schneller geladen werden, als auf einer identischen Maschine die geclustert wurde.

Ansonsten hatte ich hier noch auf keiner SuperMicro und Xeon-D Maschine Ausfälle oder Probleme. Höchstens mal mit Versatel IPv6 ;-) ... ok, den Insider-Joke verstehst jetzt nur Du ...

Rico

Der neue Core i7-8086K geht im Turbo ja hoch auf 5 GHz, da wäre mal ein OpenVPN Test interessant. ;-)

-Rico

JeGr

Höchstens mal mit Versatel IPv6 ;-)

Geh mich wech... ;) Hatte gerade nochmal an anderer Stelle mit diesem Center-of-competence zu tun. Grausam...

der CARP Faktor (Failover-Konfig) einen viel stärkeren (negativen) Einfluss hat

Wohl wahr, was ich wie gesagt auch auf IRQ Handling und Co. zurückführe. Aber mir darf eine Kiste mit 50-60 VLANs beim Failover nicht einfach an Interrupts und Co wegsterben bzw. durch lahme oder nicht erreichbare UI völlig ausfallen. Das ist bei uns da eben tödlich. Und wir haben Cluster mit schnelleren CPUs, bei denen kaum ein Unterschied beim Laden besteht - egal ob single oder CARP, da merkt man die höhere Core Performance dann schon.

@rico said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Der neue Core i7-8086K geht im Turbo ja hoch auf 5 GHz, da wäre mal ein OpenVPN Test interessant. ;-)

Ich glaube da würde man tatsächlich kaum mehr Unterschied zwischen 4 und 5 GHz CPUs sehen, weil da dein Interface vorher wirklich ausgelastet wäre ;) Es sei denn natürlich du willst mit 10 oder gar 40Gbps spielen :D

Exordium

Ich seh schon... meine nächste Firewall wird wieder etwas "vollwertiges". Da stellt sich die Frage wegen der Performance erst gar nicht. Da der größte Stromverbraucher in der Firma inzwischen unser Fuhrpark und nicht mehr das RZ ist, fallen die paar Watt auch nicht mehr auf :-)

sensemann

der china mini PC ist da, aber ich bekomme ihn noch nicht mit der config des supermicro boards gebootet:

https://forum.netgate.com/topic/136856/2-4-4-copy-config-to-new-maschine-boot-stops

mit default config läuft er astrein.

Diese tweaks sind hilfreich, damit er ohne am sdhci timeout schneller durchrennt:
hw.sdhci.enable_msi=0
legal.intel_ipw.license_ack=1
legal.intel_wpi.license_ack=1
hint.sdhci_pci.0.disabled="1"
hint.sdhci_pci.1.disabled="1"

viragomann

Passiert das auch, wenn du die Config auf der bereits laufenden pfSense wiederherstellst?

Abgesehen von den Interfaces ist ja nicht allzu viel in der Config enthalten.
Vielleicht mal den Bereich <sysctl> von der neuen Installation reinsetzen und den Import damit versuchen. Die benötigten Tunables müssen dann eben erneut gesetzt werden.

Mufflon

Servus. Warum wollt ihr teure Hardware kaufen, wenn es Link Aggregation gibt? https://de.wikipedia.org/wiki/Link_Aggregation

Ich komme an meiner 500 Mbit Leitung auf ca 450-490 Mbit. CPU ist ein i5 6600.
Die Architektur von OpenVPN ist Singlethread basiert; selbst mit dem genannten teuren i7 wird man nur eher einen Stromverbrauch wie ein Fußballstadion haben ^^
Wenn man Link Aggregation betreibt (zb 4 Clients zu einer Gateway Group zusammengefasst), kann man den Traffic auf zb 4 client aufteilen und somit arbeitet die CPU auch effizienter, da zb alle 4 cores (wenn so viele vorhanden) genutzt werden.
Wichtig ist nur, dass die Remote Server alle dieselbe IP haben (der VPN Provider sollte feste IPs ermöglichen!), da manche Websites nicht mit verschiedenen IPs umgehen können. Dann kann man den Traffic round-robin durch die vpn Gateways schicken.

sensemann

Hi! ja, guter Ansatz, das wollte ich dann auch machen.
Das ist aber kein echtes Link-Bonding (kein "logischer Kanal", wie in deinem Wikipedia-Artikel), sondern eben round-robin Verteilung der einzelnen Verbindungen auf unterschiedliche VPN-Verbindungen.

Nun läuft die Kiste, komme aber auch "Nur" auf ca 60Mbit down.

Mufflon

@sensemann
Naja gut. Stimmt, Link Aggregation ist das nicht im engen Sinne.
Was für ne Leitung hast du denn und wie viele Clients laufen gebündelt? Ich hab 4 Clients zusammen.
Was für eine CPU?

sensemann

Kann man sich zu zwei OpenVPN Servern bei hide.me mit dem selben Interface und der selben quell-IP verbinden?

Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz
Current: 2200 MHz, Max: 2301 MHz
4 CPUs: 1 package(s) x 2 core(s) x 2 hardware threads
AES-NI CPU Crypto: Yes (active)

Mufflon

@sensemann
Hide.me ist einer der wenigen VPN Providern, der feste IPs anbietet. Deshalb musst du dort zb 2 Geräte anlegen mit jeweils derselben IP zb. nl-xy.hide.me und IP XXX.XXX.XXX.XXX und entsprechend 2 Clients auf der Firewall (Remote Server zb nl.xy.hide.me). Die musst du zu einer Gateway Group zusammenfassen.
Du hast ja 4 CPUs, versuche mal mehr als zwei Clients zu bündeln. Einziger Nachteil ist halt, dass du nicht mehr soviele Geräte frei hast. 5 gehen aber. Ich würde mal 3-4 versuchen. Die CPU sollte das schaffen.

sensemann

also absolut gleiche config?
gleicher VPN Server und im hideme backend auch die gleiche, feste IP?

mit gleicher quell-IP? habe ja nur einen Unitymedia Anschluss.

Mufflon

Ja genau.