OpenVPN Durchsatz - wie 200Mbit schaffen?



  • Hallo!
    welchen Durchsazz erziehlt ihr mit OpenVPN?
    Als Board habe ich das SuperMicro A1SRM-LN7F-2358 mit Intel® Atom processor C2358, SoC, (Rangeley), 7W 2-Core, 1.7-2.0GHz und AES-NI.

    An einem Kabelanschluss 200/50 schaffe ich damit nur ca 27Mbit down und 20 up.
    Ohne VPN ca. 220MBit down und 50Mbit up.
    Hat also noch viel Luft nach oben!

    Mit meiner alten APU 1D4 war es etwa die Hälfte (10MBit). Ich dachte, wegen AES-NI geht da nun deutlich mehr.. aber viel mehr ist es nicht.

    Mit APU 4B4 sind es etwa 16down und 20up.
    AMD GX-412TC SOC mit AES-NI. Also nur wenig mehr im Vergleich zu APU1 ohne AES-NI.

    Welchen Prozessor/board brauche ich, damit der Internetanschluss voll ausgereizt werden kann, auch mit einem VPN?
    Auf welche Einstellungen kommt es an?

    Viele Grüße, der sensemann



  • @sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    An einem Kabelanschluss 200/50 schaffe ich damit nur ca 27Mbit down und 20 up.

    Da sollte theoretisch mehr Durchsatz möglich sein.

    • Welche OpenVPN Parameter sind konfiguriert?
    • Was läuft noch außer OpenVPN?

    LG


  • Rebel Alliance

    Netgate XG-7100
    256-cbc 266 Mbit/s
    256-gcm 288 Mbit/s
    128-cbc 278 Mbit/s
    128-gcm 290 Mbit/s

    Netgate SG-3100
    256-cbc 91,4 Mbit/s
    256-gcm 83,1 Mbit/s
    128-cbc 98,5 Mbit/s
    128-gcm 89,2 Mbit/s

    -Rico



  • okay, dann gibt es ja noch Hoffnung! Nun fragt sich nur, wie man dahin kommt;)

    "Cryptographic Hardware" in
    SystemAdvancedMiscellaneous

    AES-NI
    BSD CRYPTO DEVICE
    AES-NI AND BSD CRYPTO DEVICE
    NONE

    Derzeit steht das auf "None"
    Habe gelesen, dass man für OpenVPN das nicht explizit aktivieren muss, sondern OVPN AES-NI in jedem Fall sowiso nutzt.. (?)

    OpenVPN
    Encryption Algorithm: AES-256-CBC (Hide.me VPN)
    Hardware Crypto: NO
    Send/Receive Buffer = 1MiB

    Es läuft noch pfblocker-NG und snort.
    CPU ist auf 9% und beim Speedtest gehts auf 38% hoch.
    RAM ebenso 9% von 16GB



  • @sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Habe gelesen, dass man für OpenVPN das nicht explizit aktivieren muss, sondern OVPN AES-NI in jedem Fall sowiso nutzt.. (?)

    Das gilt für die OpenVPN Einstellung.
    In System > Advanced > Miscellaneous muss es schon aktiviert werden.



  • Habe ich nun. Keine signifikante Änderung.. Download um die 30Mbit..



  • @viragomann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    In System > Advanced > Miscellaneous muss es schon aktiviert werden.

    Das ist falsch. OpenVPN nutzt AES-NI mittels OpenSSL wenn die Hardware es kann.
    Wurde von mir beim Umstieg auf das Jetway-Board getestet.

    LG



  • @sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    OpenVPN
    Encryption Algorithm: AES-256-CBC (Hide.me VPN)

    Wenn möglich AEAD-Ciphers nutzen. Setzt OpenVPN >= Version 2.4 voraus und
    bringt mit AES-NI spürbar besseren Durchsatz.

    LG



  • @gladius said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Das ist falsch. OpenVPN nutzt AES-NI mittels OpenSSL wenn die Hardware es kann.
    Wurde von mir beim Umstieg auf das Jetway-Board getestet.

    Ja, das has du hier schon mal erwähnt, blieb aber in meinen alten grauen Zellen nicht hängen und ich habe es auch nicht selbst verifiziert.

    Dass es in zu Miscellaneous zu aktivieren ist, steht aber nach wie vor in den Docs:
    https://www.netgate.com/docs/pfsense/hardware/cryptographic-accelerator-support.html
    Die wissen wohl noch nichts von deinem Test. 😏



  • @viragomann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Die wissen wohl noch nichts von deinem Test.

    Ich verlasse mich auf die von mir gemessenen Werte. Worauf sonst?

    LG



  • Um noch mal auf das eigentliche Problem des mangelnden OpenVPN Durchsatzes zurückzukommen:

    Ein Board mit dem C2358 sollte für den Hausgebrauch locker ausreichen und z. B. eine APU2C4
    deutlich übertreffen obwohl 200 MBits/s über OpenVPN nach meiner Meinung aber nicht
    zu erzielen sind.

    Die Frage ist:
    Welcher VPN-Anbieter garantiert 200 MBit/s um den Einsatz noch leistungsfähigerer Hardware
    zu rechtfertigen?

    OpenVPN als Server ist ein anderes Thema und ein Upload von 40 MBit/s sollte mit
    entsprechenden Parametern auch erreichbar sein. In einem anderen Thema habe
    ich zu meiner Hardware eine Testumgebung genutzt, die das untermauern kann.
    Nun, ich habe zwar einen Celeron N3160 mit vier Kernen statt eines C2358 mit
    zwei Kernen was aber bei OpenVPN nichts viel ausmacht, da die CPU-Taktung
    vergleichbar ist.

    Soviel zur Theorie.

    LG



  • Hallo,

    versuch mal diese directiven im dein OpenVPN profil hinzu zu fugen:

    fast-io
    sndbuf 524288
    rcvbuf 524288
    

    Dann client neustarten.


  • Moderator

    @sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Es läuft noch pfblocker-NG und snort.

    pfBlocker sehe ich jetzt nicht dramatisch weil Layer 3 aber Snort mal ausgemacht?

    ich hoffe aber bis Ende der Woche/Anfang nächster mal ein Labor endlich fertig zu haben, gegen das ich auch von extern mit Tunneln etc. testen kann, dann sind auch einige Dinge besser belegbar was Cipher/Codecs und Einstellungen angeht.



  • @jegr said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    ich hoffe aber bis Ende der Woche/Anfang nächster mal ein Labor endlich fertig zu haben, gegen das ich auch von extern mit Tunneln etc. testen kann

    Das ist eine ausgezeichnete Idee. Liegt der Schwerpunkt auf IPsec oder OpenVPN?

    Vielen Dank und LG


  • Moderator

    @gladius said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Das ist eine ausgezeichnete Idee. Liegt der Schwerpunkt auf IPsec oder OpenVPN?

    Vielen Dank und LG

    Der Schwerpunkt liegt darin überhaupt ein ordentliches Labor zu haben ;)
    Wir haben zwar mitunter Testhardware oder Test VMs herumfliegen, die sind aber meist je nach Kunde oder User unterschiedlich. Außerdem müssen manche Sachen mal ordentlich in der Tiefe getestet werden. Jetzt mit 2.4.4 bspw. das neue Portal mal richtig durchleuchten, pfBNG in der Dev Fassung mal ausloten etc. Das macht man ungern auf Live-Kisten und wenn die Dev Hardware ständig mal für Kunden gebraucht wird, ist es dort auch schwer. Wir haben da jetzt aber einen extra (ehem.) HV-Host über gehabt, der nun ins Büro verfrachtet und dort als Labor HV mit VMs bespaßt wird. Das ganze dann so, dass wir uns bei Bedarf auch public IPs und IP6 drauf routen können um eben "prod" zu simulieren. Ich bin gerade im Aufbau dessen und sobald es (hoffentlich bis nächste Woche Beginn) steht, kann ich dann auch endlich gegen die Kiste von extern mal diverse VPN Tunnel & Settings testen und tweaken ohne den Produktivbetrieb zu beeinflussen. Bis zu 500Mbps sollten wir dann als Teststrecke frei haben, so dass ich mit meiner 400/20er dann auch mal schauen kann, was mit welchen Einstellungen an Appliance Hardware möglich ist. Eine Test-HW mit C2558 steht zumindest schon bereit, dann habe ich zumindest eine grobe Eintaktung, was der alte Atom bringen kann. Und eine APU2 sollte irgendwann nächsten Monat auch frei werden um damit zu testen. :)

    Gruß



  • @jegr said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Eine Test-HW mit C2558 steht zumindest schon bereit, dann habe ich zumindest eine grobe Eintaktung, was der alte Atom bringen kann. Und eine APU2 sollte irgendwann nächsten Monat auch frei werden um damit zu testen.

    Da bin schon mal ich auf die Ergebnisse gespannt . Als Nutzer zu Hause hat man ja nicht die breite Auswahl,
    muß gelegentlich aus der Hüfte schießen und auf Treffer hoffen.

    LG



  • Ich hatte für das HW Measuring für die pfSense eines Freundes ein ähnliches Problem.

    Ich hatte glücklicherweise Zugriff auf diverse Boxen mit unterschiedlichen CPUs und bin nach diesem Performancetest vorgegangen, der erschreckend realistische OpenVPN Resultate lieferte:

    https://forum.netgate.com/topic/94091/asus-n3050i-c-for-openvpn-100mbit-wan/10

    Erkenntnis: Diese kleinen Atom-Stinker und kastrierten, Lowtakt-CPUs taugen nichts für anständige OVPN-Performance.

    200MBit+ VPN Durchsatz gab es z.B. mit nem i3 5005U 2.0GHz

    Er hat jetzt ein aktuelles Mini-ITX mit stromsparenden i3 und kann über seinen VPN Provider seine 200MBit im Downstream voll nutzen.



  • Cool, danke dir für diesen Link!
    Auf dem SuperMicro board A1SRM-LN7F-2358 mit Atom C2358 kommt immerhin: 100 raus. Aber in der Praxis nur ca. 27...

    Auf dem APU 4B4 sind es laut diesem Test theoretisches maximum 40.. Praxis höchstens 20.

    Was wäre deine board/Cpu empfehlung (was auch in ein 1HE gehäuse passt), mit mind 4x Ethernet, gerne auch ein paar mehr?



  • Es gibt ja inzwischen auch diverse ARM-Teile (SG-1000, SG-3100) von Netgate.
    Denen traue in Bezug auf eine befriedigende OpenVPN Leistung nicht viel zu
    und habe nie über einem Einsatz bei mir zu Hause nachgedacht. Dieser
    Entschluß beruht aber nicht (Bauchgefühl) auf belastbaren Meßwerten.

    Wem gelingt es mit nachvollziehbaren Argumenten und Fakten
    mich vom Gegenteil zu überzeugen?

    LG


  • Rebel Alliance

    Der Werte zur SG-3100 habe ich oben geschrieben, die sind selbst getestet.

    -Rico



  • @rico said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Der Werte zur SG-3100 habe ich oben geschrieben, die sind selbst getestet.

    Das Testszenarium ist leider unklar. Sind diesbezüglich Angaben möglich?

    Unklar ist auch warum AEAD-Ciphers nicht besser abschneiden.
    Meine eigenen Tests geben das nicht her.

    LG



  • Ich habe zuhause solch eine chinesische QOTOM-Kiste, Q350G4, mit einem i5-4200U. Die hat 4 NICs und 8GB RAM und kostet mit SSD knapp 300 Euro.
    Die Lieferung dauert aber 3 Wochen.

    Ich habe auf diesem die pfSense und einen Cloudserver virtualisiert laufen, ausgeliefert wurde die Kiste aber mit vorinstallierter pfSense .
    Der Durchschnittsverbrauch liegt bei etwa 7 Watt.

    Die VPN-Performance habe ich allerdings noch nicht getestet, die wäre wohl eher durch meine 16 Mbit/s-Anbindung eingeschränkt. 😒 Aber wenn es um die CPU-Leistung geht, lässt sich der Prozessor wohl gut einschätzen.



  • @viragomann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    QOTOM-Kiste, Q350G4

    @viragomann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    ausgeliefert wurde die Kiste aber mit vorinstallierter pfSense .

    Sehr zur Freude von Netgate. Wo kein Kläger, da kein Richter.
    Naja, wenn die Kiste ihr Geld wert ist.

    LG



  • Das war zu Ende letzten Jahres. Mittlerweile hat sich das vielleicht auch geändert.
    Und der zuständige Richter würde wohl in China sitzen...

    Bislang läuft sie ganz fein. ☺

    Lg



  • @viragomann was sind denn die werte auf deiner china-kiste nach diesem bench?

    https://forum.netgate.com/topic/94091/asus-n3050i-c-for-openvpn-100mbit-wan/10

    Hole mir dann das QOTOM Mini PC Q575G6 mit i7-7500U, 6x Eth, dann ist "Ruhe"


  • Moderator

    @exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Erkenntnis: Diese kleinen Atom-Stinker und kastrierten, Lowtakt-CPUs taugen nichts für anständige OVPN-Performance.

    Also wo DIE Erkenntnis herkommt, habe ich keine Ahnung, sie stimmt allerdings schlichtweg nicht. Soviel sei gesagt, wir haben bei einem Kunden einen Cluster aus 2 Atom 2558er Kisten und die wuppern locker mehr als 100MBit/s mit OpenVPN. Warum ich das genau weiß? Wir mussten bei dem Kunden via remote physikalische Server in virtuelle überführen (P2V) und haben daher nen ziemlich konstanten Traffic über den Tunnel gehabt - und hatten da locker 18-20 MB/s (Byte, nicht Bit). Das sind dann zwischen 150 und 200Mbps.

    Nur weil eine Kiste Atom heißt (die N Kisten auch), sind die nicht gleich mies oder gut :)

    Gruß



  • @sensemann
    Müsste ich austesten, wenn ich zuhause bin.
    Ich schätzte mal, so um die 200. Aber hat dieses Ergebnis tatsächlich mit der praktischen Realität zu tun?


  • Rebel Alliance

    @gladius said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Das Testszenarium ist leider unklar. Sind diesbezüglich Angaben möglich?

    Ziemlich straight forward, OpenVPN RAS mit default Settings aufgesetzt, eine potente Kiste an den WAN Port gehängt und eine an LAN.
    Von WAN Seite aus mit dem RAS verbunden und dann über verschiedene Protokolle Daten auf den Rechner im LAN geprügelt, hauptsächlich über FTP.
    Dann zwischen den gängigen Encryption Algorithm wie oben beschrieben getestet.

    -Rico



  • @Rico

    Die SG-3100 kann nach den hier übermittelten Werten von weder vom Preis noch von der OpenVPN Leistung
    mit meiner "Bastellösung" mithalten. Ich hatte so einTeil nie in die engere Wahl einbezogen als es um
    die Ablösung meiner AP1D. ging. Bauchgefühle haben manchmal auch ihr Gutes.

    Für den Hausgebrauch aber ist so ein Teil vermutlich doch leistungsfähiger bzgl. OpenVPN als eine APU2xyz.
    ARM auf dem Vormarsch?
    LG


  • Rebel Alliance

    Ich habe im professionellen Bereich die Schnauze voll von Bastellösungen. ;-) Stabilität und maximal guter Support sind mir da wichtiger als die letzten paar MBit aus den Euros zu quetschen.
    Außerdem ist OpenVPN ja leider nicht das Performance Monster und einiges hinter IPsec. Multi-Core Support muss endlich mal her. 😋
    Die Werte von oben sind natürlich Single Thread/Instance.

    -Rico



  • @sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    @viragomann was sind denn die werte auf deiner china-kiste nach diesem bench?

    Auf der virtualisierten pfSense:
    11,8 s
    271 Mbit/s

    Am Basissystem (OpenSUSE Leap 42.3):
    7,63 s
    419 Mbit/s

    Besser als ich erwartet hatte.

    Grüße



  • hah, habe meinen Zettel mit den Benchmarks wieder gefunden. Hier mal diverse Kombinationen, darunter auch paar Router mit Linux und OVPN:

    Meine Box pfsense mit i3 5005U: 233 MBit
    Firewall Firma: SuperMicro mit Xeon D-1518: 257 MBit
    TestFW Firma: Atom C2550: 136 MBit
    Netgear R7000 Router: 50 MBit
    WRT 1900 AC: 58 MBit
    Mein PC Intel i7 4790k: 640MBit
    Supermicro FW Appliance mit Intel N3700: 93 MBit

    So weit die Theorie...

    Mangels High-Speed Internet kann ich die theoretischen Werte zu Hause aber nicht überprüfen.

    Der Netgear R7000 brachte aber beim Freund der über 200MBit Downstream verfügt, ziemlich genau die errechneten 50 MBit/s. Ein Netgear R4300 brachte 18MBit in der Praxis.



  • @jegr said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    @exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Erkenntnis: Diese kleinen Atom-Stinker und kastrierten, Lowtakt-CPUs taugen nichts für anständige OVPN-Performance.

    Also wo DIE Erkenntnis herkommt, habe ich keine Ahnung, sie stimmt allerdings schlichtweg nicht. Soviel sei gesagt, wir haben bei einem Kunden einen Cluster aus 2 Atom 2558er Kisten und die wuppern locker mehr als 100MBit/s mit OpenVPN. Warum ich das genau weiß? Wir mussten bei dem Kunden via remote physikalische Server in virtuelle überführen (P2V) und haben daher nen ziemlich konstanten Traffic über den Tunnel gehabt - und hatten da locker 18-20 MB/s (Byte, nicht Bit). Das sind dann zwischen 150 und 200Mbps.

    Nur weil eine Kiste Atom heißt (die N Kisten auch), sind die nicht gleich mies oder gut :)

    Gruß

    Der 2558 liegt vermutlich tatsächlich in dem Bereich bis 200MBit, davon ausgehend dass er nen Tacken schneller als ein 2550 ist, der auf die errechneten 136 MBit kommt.

    Die "Sparbrötchen" Appliances sind ja nicht verkehrt. Benötige ich allerdings die volle Kapazität durch einen verschlüsselten Tunnel, ist das was anderes als bisserl Paket-Filter und Proxy auf der Kiste. Und dann möchte man ja auch nicht immer am Limit kratzen, sondern noch kleinwenig Luft nach oben haben. Sparen ok, aber nicht um jeden Preis :-)



  • @sensemann said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

    Cool, danke dir für diesen Link!
    Auf dem SuperMicro board A1SRM-LN7F-2358 mit Atom C2358 kommt immerhin: 100 raus. Aber in der Praxis nur ca. 27...

    Auf dem APU 4B4 sind es laut diesem Test theoretisches maximum 40.. Praxis höchstens 20.

    Was wäre deine board/Cpu empfehlung (was auch in ein 1HE gehäuse passt), mit mind 4x Ethernet, gerne auch ein paar mehr?

    Puh, ich kann die fertige SuperMicro Appliance 1HE (oder Nachfolger) aus meine Signature empfehlen.

    Die hat nen Xeon, 6 Ethernet, 2 Optical. Inzwischen 5 x verbaut. Das Board gibts sicher auch einzeln. In einem älteren Post habe ich die Dinger auch vorgestellt.



  • Die Telekom liefert mir stabil 80 MBit/s down und 40 MBit/s up. Meine "Bastellösung" (siehe Signatur)
    hat in Kombination mit meinem VPN-Anbieter keinerlei Probleme über den OpenVPN-Tunnel
    Daten in der höchstmöglichen Geschwindigkeit zu liefern. Es wird mit AES-256-GCM verschlüsselt.

    Die CPU-Auslastung liegt bei ca. 15% laut pfSense GUI.

    Diese in der Praxis erzielten Werte interpretiere ich nun dahin gehend, daß das Ende der
    Fahnenstange noch nicht erreicht ist. In Ermangelung eines schnelleren Internetanschlußes
    kann ich diesbezüglich keine weiteren Informationen liefern.

    Können diese von mir genannten belastbaren Informationen anderen eine
    Orientierungshilfe geben?

    LG



  • Ja, das stimmt. Bei einer Dualcore-CPU und voll ausgenutztem OVPN-Tunnel zeigt das System 50% an. Ein Tool das die Cpu-Core Last anzeigt bescheinigt dies. Ein Core ist dann zu 100% "belegt", der andere setzt Spinnweben an.


  • Rebel Alliance

    Genau DAS ist ja leider der Pferdefuß bei OpenVPN.

    -Rico



  • So richtig schlau werde ich da auch nicht. Scheinbar ist es zu aufwändig auf Basis des bestehenden Quellcodes eine multithreaded Version zu basteln. D.h. alles muss neu gemacht werden. Die letzten OVPN Roadmapinfos sind scheinbar auch aus der Steinzeit (2010).



  • Kann mich nicht entscheiden ...soll ich den China-MiniPC mit i5-7200U oder mit i7-7500U nehmen? TDP scheint bei beiden gleich zu sein... preisdifferenz 50€... OpenVPN 256bit 200Mbit down wäre das Ziel:)



  • Also, schon der i5 sollte dicke ausreichen und noch genügend Reserven haben.