OpenVPN Durchsatz - wie 200Mbit schaffen?
-
Hehe. Wenn man jetzt pfBlockerNG, Squid mit Caching und ClamAV und vielleicht noch ein IDS drauf hat, ist es nie verkehrt genügend RAM zu haben. Allerdings würden für den Hausgebrauch auch 8 GB locker ausreichen.
Ohne ein IDS, aber mit allen anderen Features braucht es bei mir 15-20% von 8GB derzeit.
-
ja, RAM ist nie verkehrt. ist wie mit hubraum ;)
ntop braucht auch ressourcen... daher sag ich mal, lieber 16 als 8GB RAM, dafür "nur" 64GB HDD anstatt 128..
-
@sensemann
wie ist die genaue bezeichnung des Qotom Teils, welches du jetzt bestellt hast. Habe aktuell ein Kettop (Qotom Ableger) mit einem Celeron J1900 und muss schon alleine wegen der 2.5er Version von pfSense mir langsam aber sicher Gedanken über eine neue Kiste machen. -
@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
Puh, ich kann die fertige SuperMicro Appliance 1HE (oder Nachfolger) aus meine Signature empfehlen.
Kann ich leider nicht. Fliegen bei uns raus (im Test/Office) weil zu lasche Performance für das was sie kosten. Die "Sparbrötchen" (keine Ahnung wo die Idee herkommt) Appliances sind spezialisiertere Netzwerkhardware. Wo eben nicht wie bei der Supermicro Torte einfach Server HW zusammengeklebt ist. Nachdem wir jetzt noch zwei andere Kunden haben wo die relativ unterirdisch performen, fliegen diese Metabrötchen ;) jetzt bei uns raus. Und kommen nur noch ordentliche Netzwerkhardware mit rein. Und die C3000er Denverton Atoms sind so gut wie fertig um die alten 2000er abzulösen - und das mit genug Luft nach oben :D Zum Sparen ist das nix, aber wie @Rico schon richtig sagt - und unsere Kunden auch - ist ne ordentliche Lösung und Hardware mit Support Vertrag denen lieber als irgendwas selbstgebautes/zusammengeschraubtes, wo nur die Einzelkomponenten (siehe Supermicro) Support haben. Und selbst Netgate scheint da jetzt was bemerkt zu haben, wenn man sich die SG-5100 scharf ansieht ;)
Genau DAS ist ja leider der Pferdefuß bei OpenVPN.
Jep, Single-Core bound. Dafür geht die Geschichte ja m.W. mit OVPN 3 in Richtung Multicore. Da was zu erfahren ist allerdings leider nicht so einfach.
und vielleicht noch ein IDS drauf hat, ist es nie verkehrt genügend RAM zu haben.
OK Butter bei die Fische: Warum will eigentlich jeder zu Hause ohne wirklich triftigen Grund irgendein Guffel-IDS/IPS ausrollen ohne dass das jemand braucht? Kann mir das mal jemand näherbringen? Warum muss ich meinen ausgehenden Mist, den ich selbst verbreche auch noch Tiefenfiltern auf Layer 7??
Entzieht sich mir einfach komplett, sorry ;)Gruß
-
Ich kann nur empfehlen, was ich auch schon selbst im Einsatz hatte und nachweislich das was vom TE gefordert wurde, auch kann. Ich habe zusätzlich kleine Atoms und Celerons in einigen "Netzappliances" und die schaffen das nicht. Punkt. Dass die neueste Generation an Atoms und Celeron Spar-CPUs inzwischen soweit ist, bestreite ich nicht.
Man liest hier oft genug, dass man sich mit völlig untermotorisierter HW dann ärgert, dass dies oder das nicht gescheit performed. Für das reine Firewalling / Packetfiltering reicht auch ein Pi ...
-
@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
Man liest hier oft genug, dass man sich mit völlig untermotorisierter HW dann ärgert, dass dies oder das nicht gescheit performed.
Sicherlich richtig. Leider auch der Grund, warum diese Xeon-Ds rausflogen, die mögen beim Netzwerkdurchsatz noch ganz annehmbar gelaufen sein, aber die GUI war extrem langsam und bei vielen CARP IPs und Failover flogen die teilweise komplett mal 5-10min weg. Sowas nicht nur bei sich sondern auch beim Kunden zu sehen schreckt dann ab ;)
Ein Pi ist zwar sicher untertrieben aber für reines Filtern reicht sicher was kleines, gar keine Frage. Ich habe da lediglich gegen argumentiert, weil solche Posts und Threads gern aus dem Zusammenhang gerissen dann zitiert und kommentiert werden. Daher habe ich lediglich eingeworfen, dass andere Layouts/Setups durchaus funktionieren können.
Aber wie du schon sagst, das OT war: 200Mbps OpenVPN Durchsatz - richtig, da muss was größeres an CPU her. Völlig d'accord ;) Und unter nem i5 würde ich da auch nicht ansetzen, gerade wegen der bekannten oben diskutierten Limitationen (single core etc.) und da freut man sich dann sicher über Kisten mit i5/e5 oder höher und hoher Taktzahl :)OT: wenn endlich mal die dämlichen Test VMs allesamt ordentlich performen würden und sauber mit v4/v6 spielen, könnte ich auch endlich mal selbst testen und Werte beisteuern.
-
Hattest Du mir nicht damals empfohlen, einen Xeon-D zu nehmen? <scratchhead/>
In unserem RZ hatte ich früher immer die 3 Jahre alten echten 1 HE Serverbleche mit "vollwertigem" Xeon für die Firewall genommen. Die hatten immer schon 4 x 1GBit Intel NIC, RAM wurde auf 8-16GB verkleinert und eine gespiegelte HDD belassen. Da kratzte es mich nicht, ob die Kiste 30 oder 300W frisst :-)
In 6 Außenbüros habe ich auch Atoms und N3xxx Appliances laufen. Aber die machen nur bisserl Paket Filtering und Web-Proxy. Da sind die Teile richtig gut.
-
@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
Hattest Du mir nicht damals empfohlen, einen Xeon-D zu nehmen? <scratchhead/>
Damals als sie rauskamen und auch die XGs bei Netgate kamen, richtig. Allerdings haben wir recht schnell bemerkt, dass sie bei uns völlig hinter den Erwartungen zurückgeblieben sind. Das mag ja unser Use Case sein - Pech für uns ;) Aber dann hat sich das Verhalten auch bei anderen SM Xeon D Kisten bei Kunden gezeigt, was enorm lästig war, gerade wenn wir die Dinger empfehlen sollen. Deshalb haben wir die Empfehlung nach ca. 9 Monaten zurückgenommen und auch keine weiteren mehr verkauft. Der Xeon-D mag von Intel für den Communication Betrieb konzipiert worden sein, so wie die SM Boards den aber anbinden und nutzen - und leider auch wie träge die CPU in "normalen" Aktionen ist (und Webserver + PHP für die UI ist eben kein direkter Network-only Betrieb) war das für uns in größeren Umgebungen (also größer als C2000 Atom bei kleinen und mittelgroßen Offices oder bei größeren Datendurchsätzen oder LAN/VLAN Infrastrukturen) einfach leider nicht mehr tragbar. Daher ist ab der Größe inzwischen eine Appliance mit i5 und für größere Gebiete ein i7/e5/e7 verbaut was einen enormen Unterschied bei gleichem Setup macht.
Seitenaufbau auf der Xeon-D Anzeige der Filterregeln auf dem WAN (nur Liste der Regeln anzeigen): bis 20s
Seitenaufbau auf neuer Appliance mit i5/i7: ~2sbei sonstigem gleichen Aufbau. Das ist sicherlich abhängig vom Einsatzzweck/Gebiet, völlig klar, aber wie beschrieben dadurch für uns nicht mehr tragbar. Sollte mit 2.5 oder später mal die UI entkoppelt sein und es nur noch um reine Network Performance gehen, kann das sicherlich anders sein, bis dahin haben wir aber die UI noch mit in der Rechnung die auch sauber funktionieren muss :) Und da mit bei einem CARP Failover von ~60VIPs häufiger dann wegen IRQ und UI Problemen die ganze Kiste wegstirbt, ist das eben sehr unschön.
In unserem RZ hatte ich früher immer die 3 Jahre alten echten 1 HE Serverbleche mit "vollwertigem" Xeon für die Firewall genommen.
Hatten wir vorher auch, die Kiste war dann allerdings echt mal mega überdimensioniert ;)
Und beim Rest sind wir da sicher auch D'accord :) -
habe
Product properties: 16G RAM 128G SSD + Q550G6 6200U NO WiFi
€ 378,72 X1
https://www.aliexpress.com/item/Qotom-Mini-PC-with-Celeron-Core-i3-i5-Pfsense-AES-NI-6-Gigabit-NIC-Router-Firewall/32863096123.htmlKann aber noch 1-3 Wochen dauern bis es da ist. Melde mich dann wenn ich Ergebnis habe.
-
@jegr said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
... und leider auch wie träge die CPU in "normalen" Aktionen ist (und Webserver + PHP für die UI ist eben kein direkter Network-only Betrieb) ...
Allerdings muss ich dazu sagen, dass gerade bei vielen Daten und größeren Listen der CARP Faktor (Failover-Konfig) einen viel stärkeren (negativen) Einfluss hat. Teilweise gibt es Seiten die auf einer Single-Firewall 10-20x schneller geladen werden, als auf einer identischen Maschine die geclustert wurde.
Ansonsten hatte ich hier noch auf keiner SuperMicro und Xeon-D Maschine Ausfälle oder Probleme. Höchstens mal mit Versatel IPv6 ;-) ... ok, den Insider-Joke verstehst jetzt nur Du ...
-
Der neue Core i7-8086K geht im Turbo ja hoch auf 5 GHz, da wäre mal ein OpenVPN Test interessant. ;-)
-Rico
-
Höchstens mal mit Versatel IPv6 ;-)
Geh mich wech... ;) Hatte gerade nochmal an anderer Stelle mit diesem Center-of-competence zu tun. Grausam...
der CARP Faktor (Failover-Konfig) einen viel stärkeren (negativen) Einfluss hat
Wohl wahr, was ich wie gesagt auch auf IRQ Handling und Co. zurückführe. Aber mir darf eine Kiste mit 50-60 VLANs beim Failover nicht einfach an Interrupts und Co wegsterben bzw. durch lahme oder nicht erreichbare UI völlig ausfallen. Das ist bei uns da eben tödlich. Und wir haben Cluster mit schnelleren CPUs, bei denen kaum ein Unterschied beim Laden besteht - egal ob single oder CARP, da merkt man die höhere Core Performance dann schon.
@rico said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
Der neue Core i7-8086K geht im Turbo ja hoch auf 5 GHz, da wäre mal ein OpenVPN Test interessant. ;-)
Ich glaube da würde man tatsächlich kaum mehr Unterschied zwischen 4 und 5 GHz CPUs sehen, weil da dein Interface vorher wirklich ausgelastet wäre ;) Es sei denn natürlich du willst mit 10 oder gar 40Gbps spielen :D
-
Ich seh schon... meine nächste Firewall wird wieder etwas "vollwertiges". Da stellt sich die Frage wegen der Performance erst gar nicht. Da der größte Stromverbraucher in der Firma inzwischen unser Fuhrpark und nicht mehr das RZ ist, fallen die paar Watt auch nicht mehr auf :-)
-
der china mini PC ist da, aber ich bekomme ihn noch nicht mit der config des supermicro boards gebootet:
https://forum.netgate.com/topic/136856/2-4-4-copy-config-to-new-maschine-boot-stops
mit default config läuft er astrein.
Diese tweaks sind hilfreich, damit er ohne am sdhci timeout schneller durchrennt:
hw.sdhci.enable_msi=0
legal.intel_ipw.license_ack=1
legal.intel_wpi.license_ack=1
hint.sdhci_pci.0.disabled="1"
hint.sdhci_pci.1.disabled="1" -
Passiert das auch, wenn du die Config auf der bereits laufenden pfSense wiederherstellst?
Abgesehen von den Interfaces ist ja nicht allzu viel in der Config enthalten.
Vielleicht mal den Bereich <sysctl> von der neuen Installation reinsetzen und den Import damit versuchen. Die benötigten Tunables müssen dann eben erneut gesetzt werden. -
Servus. Warum wollt ihr teure Hardware kaufen, wenn es Link Aggregation gibt? https://de.wikipedia.org/wiki/Link_Aggregation
Ich komme an meiner 500 Mbit Leitung auf ca 450-490 Mbit. CPU ist ein i5 6600.
Die Architektur von OpenVPN ist Singlethread basiert; selbst mit dem genannten teuren i7 wird man nur eher einen Stromverbrauch wie ein Fußballstadion haben ^^
Wenn man Link Aggregation betreibt (zb 4 Clients zu einer Gateway Group zusammengefasst), kann man den Traffic auf zb 4 client aufteilen und somit arbeitet die CPU auch effizienter, da zb alle 4 cores (wenn so viele vorhanden) genutzt werden.
Wichtig ist nur, dass die Remote Server alle dieselbe IP haben (der VPN Provider sollte feste IPs ermöglichen!), da manche Websites nicht mit verschiedenen IPs umgehen können. Dann kann man den Traffic round-robin durch die vpn Gateways schicken. -
Hi! ja, guter Ansatz, das wollte ich dann auch machen.
Das ist aber kein echtes Link-Bonding (kein "logischer Kanal", wie in deinem Wikipedia-Artikel), sondern eben round-robin Verteilung der einzelnen Verbindungen auf unterschiedliche VPN-Verbindungen.Nun läuft die Kiste, komme aber auch "Nur" auf ca 60Mbit down.
-
@sensemann
Naja gut. Stimmt, Link Aggregation ist das nicht im engen Sinne.
Was für ne Leitung hast du denn und wie viele Clients laufen gebündelt? Ich hab 4 Clients zusammen.
Was für eine CPU? -
Kann man sich zu zwei OpenVPN Servern bei hide.me mit dem selben Interface und der selben quell-IP verbinden?
Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz
Current: 2200 MHz, Max: 2301 MHz
4 CPUs: 1 package(s) x 2 core(s) x 2 hardware threads
AES-NI CPU Crypto: Yes (active) -
@sensemann
Hide.me ist einer der wenigen VPN Providern, der feste IPs anbietet. Deshalb musst du dort zb 2 Geräte anlegen mit jeweils derselben IP zb. nl-xy.hide.me und IP XXX.XXX.XXX.XXX und entsprechend 2 Clients auf der Firewall (Remote Server zb nl.xy.hide.me). Die musst du zu einer Gateway Group zusammenfassen.
Du hast ja 4 CPUs, versuche mal mehr als zwei Clients zu bündeln. Einziger Nachteil ist halt, dass du nicht mehr soviele Geräte frei hast. 5 gehen aber. Ich würde mal 3-4 versuchen. Die CPU sollte das schaffen. -
also absolut gleiche config?
gleicher VPN Server und im hideme backend auch die gleiche, feste IP?mit gleicher quell-IP? habe ja nur einen Unitymedia Anschluss.
-
Ja genau.
-
hide.me hat normalerweise richtig Dampf auf'm VPN Kessel. Über die hide.me NL Server kamen wir bei ner OVPN Single-Instanz (pfSense i3-Cpu aus 2015) bei 200MBit Unitymedia auf 18-20 MB/s Durchsatz. Das entspricht nahezu der vollen theoretischen Bandbreite. Dummerweise weiss man aber gerade bei Unitymedia nie so genau, was für einen Anschluss man angedreht bekommt. Einmal von den Parametern, andererseits wie er technisch ausgeführt wurde...
-
Die Spalte C steht für Core? dann läuft je ein Ovpn auf C1 und C2. (APU 1D4)
wie geht das mit ps ?Damit erhöht man den Speed generell wenn man mehrere clients / downloads hat.. aber der Speed EINER Verbindung wird dadurch auch nicht höher.
PID USERNAME THR PRI NICE SIZE RES STATE C TIME WCPU COMMAND 12495 root 1 22 0 6392K 2556K select 1 1:57 8.99% syslogd 49863 root 1 21 0 10200K 6704K select 2 1:00 7.07% openvpn 3231 root 1 52 0 95436K 39112K ppwait 2 0:34 7.05% php-fpm 567 root 1 52 0 95564K 38900K accept 2 0:57 5.12% php-fpm 566 root 1 52 0 95692K 39588K accept 3 0:57 3.58% php-fpm 49053 root 1 52 0 95436K 38992K accept 2 0:58 3.50% php-fpm 60015 root 1 38 0 93260K 38312K accept 1 0:51 2.90% php-fpm 93724 root 1 52 0 95436K 39336K accept 2 0:56 2.90% php-fpm 9899 root 1 52 0 95308K 38752K accept 2 0:51 2.51% php-fpm 99662 root 1 20 0 23592K 9772K kqread 3 0:10 0.57% nginx 67336 root 2 20 0 186M 143M bpf 0 0:16 0.53% snort 29387 root 1 20 0 7812K 3456K CPU0 0 0:00 0.20% top 81384 root 2 20 0 104M 64732K CPU1 1 0:14 0.18% snort 26692 root 1 20 0 10200K 6692K select 1 0:02 0.16% openvpn
Ich würde gerne mit einer firewall auf ca 200MBit down kommen. Ohne VPN gehen ca 220Mbit. Derzeit maximal 60Mbit im Speedtest mit VPN.
Auf dem i5 rechner sind beide in C1
60272 root 1 20 0 10200K 6692K select 1 0:00 0.03% openvpn
2632 root 1 20 0 10200K 6688K select 1 0:00 0.02% openvpn -
@sensemann
Sieht so aus, ja jeweils auf einem Core ein Client. Dass die Speed pro Client durch diese Technik nicht höher wird ist logisch. Die wirst du nur erhöhen können, wenn die cores einzeln stärker sind und zb AES-NI Crypto supporten. Ich hab bei meinem System auf einem Client ca 200 Mbit. Die CPU ist da sehr ausschlaggebend -
Du hast ein i5 6600 - ich hoffe nicht dass es an meinem i5 6200 liegt - oder hätte ich doch lieber die i7 version nehmen sollen? verzweifelt so langsam
-
Ist sichergestellt, dass der Gegenüber die 200MBits VPN Traffic auch im Upstream für Dich bereitstellen kann?
An der CPU liegt es garantiert nicht. -
@sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
Derzeit maximal 60Mbit im Speedtest mit VPN.
Damit kann man nach meiner bescheidenen Meinung gut leben.
-
wenn der anschluss schon 200Mbit hergibt soll das auch möglich sein.
muss ab und zu größere videofiles etc rumscheffeln da macht das über faktor 3 aus... ned gut .... -
@exordium und @sensemann
Ja CPU wirds nicht sein und i7 ist ziemlicher overkill ;)
Wahrscheinlich könnte es auch konfig-bedingt sein. Wie viel schaffst du zu im Downstream? Wie und hast du Crypto Support eingeschaltet?
Und ganz wichtig: welchen Standort hat der Remote Server? -
jetzt habe ich 110Mbit down, 20up im wieistmeineip.de speedtest.
hideme server ist frankfurt.
und ja, 50Mbit upstream schaffen alle gegenstellen :) down auch.
eigene server, derren IPs ich ja kenne, können direkt geroutet werden... aber sowas wie dropbox, gdrive, wetransfer ist nicht möglich alles zu definieren. -
Den letzten Teil deiner Aussage versteht ich nicht. Was willst du wie routen?
-
Benutze mal testweise hide.me nl
-
@mufflon besagte server übver gateway auswahl in den rules route ich direkt über das WAN interface, also nicht über VPN.
-
HPE ProLiant DL380 Gen10
Intel Xeon Gold 6136 CPU @ 3.00GHz
pfSense 2.4.4-p2AES-256-CBC 441,4 Mbit/s
AES-256-GCM 463,8 Mbit/s
AES-128-CBC 441,4 Mbit/s
AES-128-GCM 481,9 Mbit/s-Rico
-
@sensemann Überlege mir die gleiche Box (q575g6) zuzulegen. Hast du schon die Performance mit dem Bench getestet? Bist du allgemein mit der Box zufrieden?
br
-
@rico said in OpenVPN Durchsatz - wie 200Mbit schaffen?:
HPE ProLiant DL380 Gen10
Intel Xeon Gold 6136 CPU @ 3.00GHz
pfSense 2.4.4-p2AES-256-CBC 441,4 Mbit/s
AES-256-GCM 463,8 Mbit/s
AES-128-CBC 441,4 Mbit/s
AES-128-GCM 481,9 Mbit/s-Rico
Darf ich fragen mit welcher Gegenstelle du das getestet hast? Und mit welchem Tool oder mit welcher Messung den Durchsatz? Damit man die Zahlen in Context bringen kann :)
-
Gegenstelle auch HPE ProLiant DL380 Gen10 :-)
Beide WANs direkt verbunden, OpenVPN Peer to Peer (SSL/TLS). Auf beiden Seiten ein Client an LAN, dann Daten über FTP geschoben mit mehreren Gleichzeitigen Streams.-Rico
-
Dann ist da definitiv was komisch. Ich bezweifle massiv, dass du bei einem DL380 G10 mit Xeon Gold CPU kein Gigabit bekommst. Das ist so ziemlich unmöglich bei der Hardware. Wenn wir in den einfachsten Tests ohne Optimierung oder sonstwie bei OpenVPN problemlos mit einem Denverton C3558 schon ähnliche Zahlen durch IPerf wuppern, kann das einfach nicht korrekt gelaufen sein. Nicht dass du wissentlich/willentlich was falsch gemacht hast, aber es kann technisch einfach nicht sein. Ein IPerf zum Vergleich wäre zwar noch schöner aber selbst mit nem tumben FTP sollte da mehr rausgekommen sein.
Gruß :)
-
Ein Atom C3558 drückt bei dir an die 500Mbit/s OpenVPN Single Thread?
Das kann ich mir wir wiederum nicht vorstellen. :-)
Mit welchen Settings denn? Z.B. UDP Fast I/O und Send/Receive Buffer hatte ich auf default.-Rico