Merkwürdige Performanceprobleme

[Alucard 1]

Hallo zusammen,
ich habe schon viel zu dem Thema gelesen aber irgendwie fehlt mir die zündende Idee.
Zum Aufbau:
2x virtualisierte pfSense CE 2.7.2 unter ESX8U2
Haupt pfSense hat 4vCPUs (vorher 2vCPUs) und 6GB RAM
8x vmxnet3 (jede hat ein eigenes VLAN)
Diverse VLANs, Squid, DNS usw.

ESX Server sind mit LACP an einen Aruba 1830 angebunden.

Ich habe nun folgendes Problem. Die Übertragungsrate (gemessen mit iperf) ist ziemlich gering und auch unterschiedlich was die Richtung betrifft.
Nach diversen Foreneinträgen, Netgate Hinweisen, habe ich dann folgendes probiert.
Folgende Optionen deaktiviert (ja das ist nicht empfohlen, wenn die Sense ein Router ist):
Disable hardware checksum offload
Disable hardware TCP segmentation offload
Disable hardware large receive offload

Dabei ergaben sich dann folgende Werte:
VLAN 20
IPERF3 Server auf FHEM gestartet
IPERF Client auf dem MYSQL Server gestartet und 16.5GBIT als Ergebnis bekommen.
Ebenfalls auf dem MYSQL Server nur mit -R sind es 13.1 GBIT

VLAN 60
IPERF Server auf FHEM in VLAN20
IPERF Client auf dem pihole zu FHEM sind es in beide Richtungen nur 1.2 MBIT
IPERF Server auf der Sense gestartet
IPERF Client auf dem pihole zurm GW von VLAN 60 sind es 21 GBIT in beide Richtungen
Zum GW von VLAN 20 800MBIT/18.9GBIT

Danach habe ich folgende Option reaktiviert:
Disable hardware large receive offload

Gleiche Tests wie eben gerade, kommt nun folgendes dabei raus:

VLAN 20
IPERF3 Server auf FHEM gestartet
IPERF Client auf dem MYSQL Server sind es 8GBIT in beide Richtungen

VLAN 60
IPERF Server auf FHEM in VLAN20
IPERF Client auf dem pihole zu FHEM sind es in beide Richtungen nun 700MBIT
IPERF Server auf der Sense gestartet
IPERF Client auf dem pihole zurm GW von VLAN 60 sind es 1.9GBIT/12.7GBIT
Zum GW von VLAN 20 800MBIT/12.4GBIT

Ich habe auch folgende Einträge in der /boot/loader.conf.local gesetzt:
hw.pci.honor_msi_blacklist="0"
dev.vmx.0.iflib.override_ntxds="0,4096"
dev.vmx.0.iflib.override_nrxds="0,2048,0"
dev.vmx.1.iflib.override_ntxds="0,4096"
dev.vmx.1.iflib.override_nrxds="0,2048,0"
dev.vmx.2.iflib.override_ntxds="0,4096"
dev.vmx.2.iflib.override_nrxds="0,2048,0"
dev.vmx.3.iflib.override_ntxds="0,4096"
dev.vmx.3.iflib.override_nrxds="0,2048,0"
dev.vmx.4.iflib.override_ntxds="0,4096"
dev.vmx.4.iflib.override_nrxds="0,2048,0"
dev.vmx.5.iflib.override_ntxds="0,4096"
dev.vmx.5.iflib.override_nrxds="0,2048,0"
dev.vmx.6.iflib.override_ntxds="0,4096"
dev.vmx.6.iflib.override_nrxds="0,2048,0"
dev.vmx.7.iflib.override_ntxds="0,4096"
dev.vmx.7.iflib.override_nrxds="0,2048,0"
dev.vmx.8.iflib.override_ntxds="0,4096"
dev.vmx.8.iflib.override_nrxds="0,2048,0"

Auch hierdurch ergab sich keine Besserung oder Verschlechterung. Für ein Problem mit den Duplexeinstellungen ist die Differenz zu groß.

Für mich macht das ganze absolut keinen Sinn. Kann sich da jmd. von Euch einen Reim drauf machen?
Muss ich ggf noch etwas an den ESX Servern anpassen?

Ich danke Euch schon mal. :-)

[Alucard 1]

Hallo zusammen und frohes Neues,

ich habe nun mal parallel eine Arista NG und eine Sophos XG aufgebaut. Hier ist die Performance durchweg besser und gleichbleibend.
Es scheint also ein Problem mit dem Unterbau zu sein. Ich denke FreeBSD hat hier wohl ein kleines Problem mit der Virtualisierung.

Ich werde wohl zur Sophos XG wechseln. Ich finde es zwar schade, da man sich doch sehr an die Sense gewöhnt hat und sie auch alles bietet was man so braucht, aber mir ist es schon wichtig eine gleichbleibende Leistung zu haben. Das Gefühl es ist irgendwo ein Problem und man kann es nicht greifen, das ist schon nicht so toll.

[heiko3001]

@Alucard-1
Geh lieber der Sache auf den Grund bzw. teste / probiere eine andere Plattform für die pfSense, denn mit der Sophos XG tust du dir keinen Gefallen. Wir setzen diese Firewall im Enterprise-Bereich ein und sind überhaupt nicht zufrieden. Sie funktioniert technisch soweit, aber in vielen Dingen ist es ein Krampf mit dem Teil.

[Alucard 1]

@heiko3001
Hi, ich bin tatsächlich am Ende meiner Idee. Ich habe nur immer mal wieder gelesen, dass es scheinbar wirklich ein Problem sein kann, eine pfSense unter VMWare zu virtualisieren. Eine wirkliche Lösung, außer zu wechseln oder sich damit abzufinden, habe ich leider nicht gefunden.

Wenn Du noch eine Idee hast wo man ansetzte kann, ohne das die FW auf Hardware dediziert läuft oder ich den Hypervisor ändern muss, bin ich immer offen. :-)

Du hast in der Tat recht. Die Sophos ist in manchen Bereichen etwas merkwürdig/speziell/anders. Gerade im Bereich Failover oder der Webfilter ist sie sehr eigen. Aber sie hat auch ein paar Vorzüge (jedenfalls für mich).

Interessant wäre noch Fortigate, aber ich möchte es gerne "kostengünstig" halten.

[pete35]

@Alucard-1

eventuell noch mit diesen Einstellungen experimentieren (also on/off und jeweils testen):

login-to-view

[Alucard 1]

Hallo zusammen,

ich danke Euch für die Antworten. Ich habe jedoch die beschlossen, die pfSense auszumustern und auf Sophos zu wechseln. Over all ist die Performance im Netz deutlich besser und konstanter geworden.

Vllt kreuzen sich die Wege noch einmal, wenn die Entwickler auf ein anderes Grundgerüst wechseln.

Grüße
Arne