OpenVPN Durchsatz - wie 200Mbit schaffen?

JeGr

@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Man liest hier oft genug, dass man sich mit völlig untermotorisierter HW dann ärgert, dass dies oder das nicht gescheit performed.

Sicherlich richtig. Leider auch der Grund, warum diese Xeon-Ds rausflogen, die mögen beim Netzwerkdurchsatz noch ganz annehmbar gelaufen sein, aber die GUI war extrem langsam und bei vielen CARP IPs und Failover flogen die teilweise komplett mal 5-10min weg. Sowas nicht nur bei sich sondern auch beim Kunden zu sehen schreckt dann ab ;)

Ein Pi ist zwar sicher untertrieben aber für reines Filtern reicht sicher was kleines, gar keine Frage. Ich habe da lediglich gegen argumentiert, weil solche Posts und Threads gern aus dem Zusammenhang gerissen dann zitiert und kommentiert werden. Daher habe ich lediglich eingeworfen, dass andere Layouts/Setups durchaus funktionieren können.
Aber wie du schon sagst, das OT war: 200Mbps OpenVPN Durchsatz - richtig, da muss was größeres an CPU her. Völlig d'accord ;) Und unter nem i5 würde ich da auch nicht ansetzen, gerade wegen der bekannten oben diskutierten Limitationen (single core etc.) und da freut man sich dann sicher über Kisten mit i5/e5 oder höher und hoher Taktzahl :)

OT: wenn endlich mal die dämlichen Test VMs allesamt ordentlich performen würden und sauber mit v4/v6 spielen, könnte ich auch endlich mal selbst testen und Werte beisteuern.

Exordium

Hattest Du mir nicht damals empfohlen, einen Xeon-D zu nehmen? <scratchhead/>

In unserem RZ hatte ich früher immer die 3 Jahre alten echten 1 HE Serverbleche mit "vollwertigem" Xeon für die Firewall genommen. Die hatten immer schon 4 x 1GBit Intel NIC, RAM wurde auf 8-16GB verkleinert und eine gespiegelte HDD belassen. Da kratzte es mich nicht, ob die Kiste 30 oder 300W frisst :-)

In 6 Außenbüros habe ich auch Atoms und N3xxx Appliances laufen. Aber die machen nur bisserl Paket Filtering und Web-Proxy. Da sind die Teile richtig gut.

JeGr

@exordium said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Hattest Du mir nicht damals empfohlen, einen Xeon-D zu nehmen? <scratchhead/>

Damals als sie rauskamen und auch die XGs bei Netgate kamen, richtig. Allerdings haben wir recht schnell bemerkt, dass sie bei uns völlig hinter den Erwartungen zurückgeblieben sind. Das mag ja unser Use Case sein - Pech für uns ;) Aber dann hat sich das Verhalten auch bei anderen SM Xeon D Kisten bei Kunden gezeigt, was enorm lästig war, gerade wenn wir die Dinger empfehlen sollen. Deshalb haben wir die Empfehlung nach ca. 9 Monaten zurückgenommen und auch keine weiteren mehr verkauft. Der Xeon-D mag von Intel für den Communication Betrieb konzipiert worden sein, so wie die SM Boards den aber anbinden und nutzen - und leider auch wie träge die CPU in "normalen" Aktionen ist (und Webserver + PHP für die UI ist eben kein direkter Network-only Betrieb) war das für uns in größeren Umgebungen (also größer als C2000 Atom bei kleinen und mittelgroßen Offices oder bei größeren Datendurchsätzen oder LAN/VLAN Infrastrukturen) einfach leider nicht mehr tragbar. Daher ist ab der Größe inzwischen eine Appliance mit i5 und für größere Gebiete ein i7/e5/e7 verbaut was einen enormen Unterschied bei gleichem Setup macht.

Seitenaufbau auf der Xeon-D Anzeige der Filterregeln auf dem WAN (nur Liste der Regeln anzeigen): bis 20s
Seitenaufbau auf neuer Appliance mit i5/i7: ~2s

bei sonstigem gleichen Aufbau. Das ist sicherlich abhängig vom Einsatzzweck/Gebiet, völlig klar, aber wie beschrieben dadurch für uns nicht mehr tragbar. Sollte mit 2.5 oder später mal die UI entkoppelt sein und es nur noch um reine Network Performance gehen, kann das sicherlich anders sein, bis dahin haben wir aber die UI noch mit in der Rechnung die auch sauber funktionieren muss :) Und da mit bei einem CARP Failover von ~60VIPs häufiger dann wegen IRQ und UI Problemen die ganze Kiste wegstirbt, ist das eben sehr unschön.

In unserem RZ hatte ich früher immer die 3 Jahre alten echten 1 HE Serverbleche mit "vollwertigem" Xeon für die Firewall genommen.

Hatten wir vorher auch, die Kiste war dann allerdings echt mal mega überdimensioniert ;)
Und beim Rest sind wir da sicher auch D'accord :)

sensemann

@m0nji

habe
Product properties: 16G RAM 128G SSD + Q550G6 6200U NO WiFi
€ 378,72 X1
https://www.aliexpress.com/item/Qotom-Mini-PC-with-Celeron-Core-i3-i5-Pfsense-AES-NI-6-Gigabit-NIC-Router-Firewall/32863096123.html

Kann aber noch 1-3 Wochen dauern bis es da ist. Melde mich dann wenn ich Ergebnis habe.

Exordium

@jegr said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

... und leider auch wie träge die CPU in "normalen" Aktionen ist (und Webserver + PHP für die UI ist eben kein direkter Network-only Betrieb) ...

Allerdings muss ich dazu sagen, dass gerade bei vielen Daten und größeren Listen der CARP Faktor (Failover-Konfig) einen viel stärkeren (negativen) Einfluss hat. Teilweise gibt es Seiten die auf einer Single-Firewall 10-20x schneller geladen werden, als auf einer identischen Maschine die geclustert wurde.

Ansonsten hatte ich hier noch auf keiner SuperMicro und Xeon-D Maschine Ausfälle oder Probleme. Höchstens mal mit Versatel IPv6 ;-) ... ok, den Insider-Joke verstehst jetzt nur Du ...

Rico

Der neue Core i7-8086K geht im Turbo ja hoch auf 5 GHz, da wäre mal ein OpenVPN Test interessant. ;-)

-Rico

JeGr

Höchstens mal mit Versatel IPv6 ;-)

Geh mich wech... ;) Hatte gerade nochmal an anderer Stelle mit diesem Center-of-competence zu tun. Grausam...

der CARP Faktor (Failover-Konfig) einen viel stärkeren (negativen) Einfluss hat

Wohl wahr, was ich wie gesagt auch auf IRQ Handling und Co. zurückführe. Aber mir darf eine Kiste mit 50-60 VLANs beim Failover nicht einfach an Interrupts und Co wegsterben bzw. durch lahme oder nicht erreichbare UI völlig ausfallen. Das ist bei uns da eben tödlich. Und wir haben Cluster mit schnelleren CPUs, bei denen kaum ein Unterschied beim Laden besteht - egal ob single oder CARP, da merkt man die höhere Core Performance dann schon.

@rico said in OpenVPN Durchsatz - wie 200Mbit schaffen?:

Der neue Core i7-8086K geht im Turbo ja hoch auf 5 GHz, da wäre mal ein OpenVPN Test interessant. ;-)

Ich glaube da würde man tatsächlich kaum mehr Unterschied zwischen 4 und 5 GHz CPUs sehen, weil da dein Interface vorher wirklich ausgelastet wäre ;) Es sei denn natürlich du willst mit 10 oder gar 40Gbps spielen :D

Exordium

Ich seh schon... meine nächste Firewall wird wieder etwas "vollwertiges". Da stellt sich die Frage wegen der Performance erst gar nicht. Da der größte Stromverbraucher in der Firma inzwischen unser Fuhrpark und nicht mehr das RZ ist, fallen die paar Watt auch nicht mehr auf :-)

sensemann

der china mini PC ist da, aber ich bekomme ihn noch nicht mit der config des supermicro boards gebootet:

https://forum.netgate.com/topic/136856/2-4-4-copy-config-to-new-maschine-boot-stops

mit default config läuft er astrein.

Diese tweaks sind hilfreich, damit er ohne am sdhci timeout schneller durchrennt:
hw.sdhci.enable_msi=0
legal.intel_ipw.license_ack=1
legal.intel_wpi.license_ack=1
hint.sdhci_pci.0.disabled="1"
hint.sdhci_pci.1.disabled="1"

viragomann

Passiert das auch, wenn du die Config auf der bereits laufenden pfSense wiederherstellst?

Abgesehen von den Interfaces ist ja nicht allzu viel in der Config enthalten.
Vielleicht mal den Bereich <sysctl> von der neuen Installation reinsetzen und den Import damit versuchen. Die benötigten Tunables müssen dann eben erneut gesetzt werden.

Mufflon

Servus. Warum wollt ihr teure Hardware kaufen, wenn es Link Aggregation gibt? https://de.wikipedia.org/wiki/Link_Aggregation

Ich komme an meiner 500 Mbit Leitung auf ca 450-490 Mbit. CPU ist ein i5 6600.
Die Architektur von OpenVPN ist Singlethread basiert; selbst mit dem genannten teuren i7 wird man nur eher einen Stromverbrauch wie ein Fußballstadion haben ^^
Wenn man Link Aggregation betreibt (zb 4 Clients zu einer Gateway Group zusammengefasst), kann man den Traffic auf zb 4 client aufteilen und somit arbeitet die CPU auch effizienter, da zb alle 4 cores (wenn so viele vorhanden) genutzt werden.
Wichtig ist nur, dass die Remote Server alle dieselbe IP haben (der VPN Provider sollte feste IPs ermöglichen!), da manche Websites nicht mit verschiedenen IPs umgehen können. Dann kann man den Traffic round-robin durch die vpn Gateways schicken.

sensemann

Hi! ja, guter Ansatz, das wollte ich dann auch machen.
Das ist aber kein echtes Link-Bonding (kein "logischer Kanal", wie in deinem Wikipedia-Artikel), sondern eben round-robin Verteilung der einzelnen Verbindungen auf unterschiedliche VPN-Verbindungen.

Nun läuft die Kiste, komme aber auch "Nur" auf ca 60Mbit down.

Mufflon

@sensemann
Naja gut. Stimmt, Link Aggregation ist das nicht im engen Sinne.
Was für ne Leitung hast du denn und wie viele Clients laufen gebündelt? Ich hab 4 Clients zusammen.
Was für eine CPU?

sensemann

Kann man sich zu zwei OpenVPN Servern bei hide.me mit dem selben Interface und der selben quell-IP verbinden?

Intel(R) Core(TM) i5-6200U CPU @ 2.30GHz
Current: 2200 MHz, Max: 2301 MHz
4 CPUs: 1 package(s) x 2 core(s) x 2 hardware threads
AES-NI CPU Crypto: Yes (active)

Mufflon

@sensemann
Hide.me ist einer der wenigen VPN Providern, der feste IPs anbietet. Deshalb musst du dort zb 2 Geräte anlegen mit jeweils derselben IP zb. nl-xy.hide.me und IP XXX.XXX.XXX.XXX und entsprechend 2 Clients auf der Firewall (Remote Server zb nl.xy.hide.me). Die musst du zu einer Gateway Group zusammenfassen.
Du hast ja 4 CPUs, versuche mal mehr als zwei Clients zu bündeln. Einziger Nachteil ist halt, dass du nicht mehr soviele Geräte frei hast. 5 gehen aber. Ich würde mal 3-4 versuchen. Die CPU sollte das schaffen.

sensemann

also absolut gleiche config?
gleicher VPN Server und im hideme backend auch die gleiche, feste IP?

mit gleicher quell-IP? habe ja nur einen Unitymedia Anschluss.

Mufflon

Ja genau.

Exordium

hide.me hat normalerweise richtig Dampf auf'm VPN Kessel. Über die hide.me NL Server kamen wir bei ner OVPN Single-Instanz (pfSense i3-Cpu aus 2015) bei 200MBit Unitymedia auf 18-20 MB/s Durchsatz. Das entspricht nahezu der vollen theoretischen Bandbreite. Dummerweise weiss man aber gerade bei Unitymedia nie so genau, was für einen Anschluss man angedreht bekommt. Einmal von den Parametern, andererseits wie er technisch ausgeführt wurde...

sensemann

Die Spalte C steht für Core? dann läuft je ein Ovpn auf C1 und C2. (APU 1D4)
wie geht das mit ps ?

Damit erhöht man den Speed generell wenn man mehrere clients / downloads hat.. aber der Speed EINER Verbindung wird dadurch auch nicht höher.

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
12495 root          1  22    0  6392K  2556K select  1   1:57   8.99% syslogd
49863 root          1  21    0 10200K  6704K select  2   1:00   7.07% openvpn
 3231 root          1  52    0 95436K 39112K ppwait  2   0:34   7.05% php-fpm
  567 root          1  52    0 95564K 38900K accept  2   0:57   5.12% php-fpm
  566 root          1  52    0 95692K 39588K accept  3   0:57   3.58% php-fpm
49053 root          1  52    0 95436K 38992K accept  2   0:58   3.50% php-fpm
60015 root          1  38    0 93260K 38312K accept  1   0:51   2.90% php-fpm
93724 root          1  52    0 95436K 39336K accept  2   0:56   2.90% php-fpm
 9899 root          1  52    0 95308K 38752K accept  2   0:51   2.51% php-fpm
99662 root          1  20    0 23592K  9772K kqread  3   0:10   0.57% nginx
67336 root          2  20    0   186M   143M bpf     0   0:16   0.53% snort
29387 root          1  20    0  7812K  3456K CPU0    0   0:00   0.20% top
81384 root          2  20    0   104M 64732K CPU1    1   0:14   0.18% snort
26692 root          1  20    0 10200K  6692K select  1   0:02   0.16% openvpn

Ich würde gerne mit einer firewall auf ca 200MBit down kommen. Ohne VPN gehen ca 220Mbit. Derzeit maximal 60Mbit im Speedtest mit VPN.

Auf dem i5 rechner sind beide in C1

60272 root 1 20 0 10200K 6692K select 1 0:00 0.03% openvpn
2632 root 1 20 0 10200K 6688K select 1 0:00 0.02% openvpn

Mufflon

@sensemann
Sieht so aus, ja jeweils auf einem Core ein Client. Dass die Speed pro Client durch diese Technik nicht höher wird ist logisch. Die wirst du nur erhöhen können, wenn die cores einzeln stärker sind und zb AES-NI Crypto supporten. Ich hab bei meinem System auf einem Client ca 200 Mbit. Die CPU ist da sehr ausschlaggebend