PFSense V2.4.4 Traffic limet ohne Limeter?!?!!



  • Hallo Zusammen,

    ich habe folgendes Setup:
    DIY PFSense Router V 2.4.4
    Prozessor I3
    RAM 8 gig
    Netzwerk 6 Nic´s

    • 1WAN
    • 1 DMZ
    • 4 LACP BOND
    • 1 ungenutzt
      90GB SSD
      Also für meine drei PC´s absoluter Overkill.

    Folgende Problematik tritt auf wenn ich mit PC1 und PC2 gleichzeitig auf 192.168.2.1 zugreife: ich bekomme nicht wie erwartet 1Gigbit traffic sondern nur 0,5 Gigbit traffic auf PC1 und 0,5 Gigbit traffic auf PC2.
    Wenn ich nur mit einen der Beiden PC´s auf 192.168.2.1 zugreife bekomme ich 1Gigbit traffic.
    Dies entspricht genau der Leistung einer Nic, ich habe aber ein LACP mit 4NICs.
    Greife ich jedoch mit PC1 auf 192.168.2.1 und mit PC2 auf 192.168.2.2 , bekomme ich jeweils 1Gigbit traffic.
    Befinde ich mich mit beiden PC´s im VLAN habe ich volle Leistung.
    Somit kann ich LACP / Bond Probleme Serverseitig und Routerseitig ausschließen.
    Auch die PFSense scheint eine funktionierende LACP Verbindung zu haben.

    PFSense ist mehrfach neu aufgesetzt worden.
    Es wurde VLAN und LACP Konfiguriert.
    Rules zwischen VLAN und Default LAN waren komplett offen.

    Es scheint als würde eine Limitierte Pipe Pro IP gesetzt werden, die einen maximalen Traffic von 1Gigbit zulässt. Wie beim Traffic Shaping was aber immer unkonfiguriert war.

    Mit alten PFSense Versionen V2.1 habe ich das Problem nicht.
    Die will ich aber nicht nutzen.

    Habt ihr einen idee?

    0_1540403224446_schema.JPG


  • Moderator

    Hi!

    @crowatone said in PFSense V2.4.4 Traffic limet ohne Limeter?!?!!:

    Somit kann ich LACP / Bond Probleme Serverseitig und Routerseitig ausschließen.

    Nein kannst du nicht ;) Was du ausschließen/erstmal ignorieren kannst, sind Probleme am LACP Bond der pfSense. Andernfalls würdest du bei Zugriff PC1->.2.1 und PC2->.2.2 nicht 1Gbps bekommen, denn die Sense juckelt das Gigabit ja einen Channel hoch und einen wieder runter (von default in VLAN200) und das ganze 2x ergo sind 4 Adern ausgelastet. Somit ist theoretisch das LACP Bündel der Sense raus.

    Was nicht raus ist, ist das LACP der Synos. Das könnte nach wie vor falsch als Failover konfiguriert sein statt als LACP womit dann lediglich 1 Gigabit zur Verfügung stehen und das dein Verhalten mit PC1/2-> .2.1 nur zusammen 1 Gbps erklärt. Ich würde also im Switch/Syno Verbindungspaar schauen, was da abläuft.

    Es scheint als würde eine Limitierte Pipe Pro IP gesetzt werden, die einen maximalen Traffic von 1Gigbit zulässt. Wie beim Traffic Shaping was aber immer unkonfiguriert war.

    Wenn DU keine Shapings oder Limiter gesetzt hast, nutzt pfSense auch keine Limits, sondern nutzt die Bandbreite die da ist.

    Gruß



  • Thx für den hinweiß.
    Ich schau´s mir mal an und gebe Feedback.



  • Habe die Syos gecheckt + Switch beides läuft wie es sein soll beide Synos haben einen LACP Connection und eine Anbindung mit 4000Mbit/s. Sagt der Switch und die Synos zudem
    habe ich spaßeshalber 2 PC´s in das VLAN gehangen und greife damit auf eine Syno zu. Beiden PC´s bringen volle Leistung 1000Mbit/s .
    Allerdings hänge ich beide PC´s ins def LAN sind es wie gehabt nur 500Mbit/s.

    Also fasse ich zusammen:

    • Pfsense LACP geht weil traffic > 1000Mbit/s up sowohl down (nicht addiert weil ist ja duplex)
    • Syno haben ein funktionierendes LACP Laut Switch und weil traffic > 1000Mbit/s up sowohl down alledings nur im VLAN.
    • Syno HDD´s haben mehr Leistung als das LAN (kein Engpass)
    • Syno RAM passt
    • Syno CPU passt auch.
    • Die Hardware von der Sense langweilt sich die Auslastung ist kleiner 10% auf allen Parametern.

    Es beleit also kurios.... :(
    Irgendwas limitiert also mein Traffic pro IP auf 1000Mbit/s duplex wenn ich vom VLAN ins Def-LAN will.

    Hast du ne weitere Idee?

    Wie gesagt das ganze Lief ja mal bis ich Updates gemacht habe.
    Will jetzt aber auch nicht Sense V2.1 darauf machen.
    Bei den Syos wird es schon schwierig.... zurück auf V....?
    Also keine Option.

    gruß


  • Moderator

    Eventuell mal in den Synos schauen, von welchen IPs die Zugriffe ankommen, wenn beide auf der gleichen Syno ziehen und nur 500 ankommt. Nicht dass die durch irgendeine komische Konfig nach innen nochmal genattet werden und von der gleichen IP kommen.



  • Moin,

    auf den Syos kommen 2 unterschiedliche IP´s an also für jeden PC eine also so wie es sein soll.
    Switch ist auch neu aufgesetzt.
    Trotzdem keine Änderung....
    Versuche jetzt ein downgrade auf Sense V 2.3.5 mal sehen...
    Hast du noch ne Idee?

    gruß cro



  • Bringt leider auch nichts.... immer noch das selbe mir gehen die ideen aus.



  • Habe jetzt alles Probiert von einen anderen L3 Switch einbauen bis zusätzlich zu den Synos eine Freenas aufsetzten. Selbst neue Patch kabel sind nun im Rack......
    Alle LAGS der Server funktionieren 1A wenn ich mich im Server VLAN befinde.
    Der laut Switch ist auch alles ok.

    Das Problem besteht also nur dann wenn der Traffic durch die PFSense muss.
    An der Sense liegt auch LACP an, ich bekomme Datenverkehr > 1000Mbits.
    Ich bekomme nur eine Limitierung wenn der Traffic zu oder von einer IP geht da ist bei exakt 1000Mbits schuss.
    Also findet gefühlt eine art Traffic Shaping bzw eine Limitierung statt.

    Habe jetzt unzählige Stunden/Tage in das Thema gesteckt.

    Und komme nun zu dem persönlichen Schluss das ein BUG in der Senese vorliegt!!!!
    Was genau schief läuft kann ich nicht sagen.

    Habe alle anderen mir erdenklichen Möglichkeiten ausprobiert.
    Ergo das gesamte Netzwerk mehrfach neu aufgesetzt......

    Hat jemand ein ähnliches Setup oder oder mag es mal jemand nachbauen?

    Ich weiß das es mal mit einer Uralten Version von Sense ging 2.1 oder so.

    @JeGr evtl hast du ja noch eine Idee?????

    gruß


  • Moderator

    Ich kann höchstens versuchen das ggf. am Feiertag nochmal nachzuspielen, habe das aber definitiv bei mir nicht feststellen können bislang. Ich hatte eine Syno mit 2x1G schon angebunden und hier nie Performance Engpässe, kann aber nichts versprechen dass ich dazu komme das nochmal als LAGG zu verkabeln etc.

    Da es ein DIY Setup mit unbekannten Komponenten ist, könnte es aber auch schlichtweg sein, dass du an Limits der Hardware stößt statt Bugs in der Software. Andere Möglichkeit wäre die Funktion bzw. eine Änderung in der Funktion von FreeBSDs LAGG Interface, das m.W. hier ja einen Hash über MAC Adressen fährt für die Verteilung und wenn beide PCs mit der gleichen Syno sprechen wäre es möglich, dass hier nur die Destination gehasht wird und somit keine wirkliche Lastverteilung stattfindet.

    Nochmals: Es gibt keine default erstellten Limiter oder Shapings in der Software/pfSense wenn du keine eingerichtet hast. Und da mit LAGG/LACP Konfiguration lediglich FreeBSD Basisfunktion genutzt wird, kann ich da nicht wirklich einen Bug in pfSense selbst sehen, sondern gehe eher von Hardware oder von Funktionsweise Software (BSD) aus.

    Edit:

    Nochmals kurz in die Thematik mit Cisco und HP eingelesen und das hier dazu gefunden:
    https://serverfault.com/questions/569060/link-aggregation-lacp-802-3ad-max-throughput/569125#569125

    Sehr gut beschrieben und wie ich oben bereits angedacht/angedeutet hatte, ist es ein "Trugschluß" dass LACP/LAGG automatisch "Bonding" auf x Gigabit bedeutet. Es kann also (ein wenig) funktionieren, muss aber nicht bedeuten, dass man "automagisch" 2Gigabit bekommt. Daher ist auch die Empfehlung immer noch lieber einen 10Gbps Port zu nutzen als ein x-fach LAGG. Evtl war bei deiner alten Version auch an anderer Stelle eine Einstellung anders oder es wurden ggf. andere LAGG Attribute oder Konfigurationen verwendet als heute - da kann ich leider nur spekulieren.



  • Danke für die Hilfe aber der Ansatz den wir verfolgten war leider falsch und somit leider Zeitverschwendung unsere erste frage hätte lauten müssen was ein LAGG überhaupt kann... naja aber das weiß man ja vorher nie aber nächstes mal :P @JeGr

    Aber ich denke es es wichtig meine Erfahrung dennoch zu teilen falls mal jemand das selbe Problem hat.

    Also es geht schlichtweg nicht das mit dem LACP Protokoll zu ermöglichen.

    • Die Verwendung eines LAGG garantiert nicht zwangsläufig den vollen Durchsatz aus der summe der Schnittstellen. (@JeGr Sagtest du stimmt auch, war mir auch klar und ist nicht weiter Schimm. War/ist auch nicht das Problem das ich 4 fullduplex Nic´s im LACP habe also 4000Mbit´s down und up...)

    Zur Lösung:
    -Ein einzelner Datenfluss übersteigt nicht den Durchsatz einer LAGG-Member-Schnittstelle ergo einer im Bond befindlichen NIC/Netzwerkkarte also 1000Mbit/s duplex.
    Weil der Fluss zwischen den Hosts nur eine einzige Verbindung verwendet.
    Das heißt zwischen Sense und NAS Interface wird nur ein Tunnel aufgebaut.
    Also Shapt Quasi das LAGG mein Traffic durch Hardware Limitierung 🙏 .

    Lösung:
    geben sie min 500€ aus und kaufen sie 10 Gig Hardware...
    oder nutze die NAS mit keinen Bonds/LACP sondern mit Multiblen MAC´s !

    <- Thread close ->


  • Moderator

    @crowatone said in PFSense V2.4.4 Traffic limet ohne Limeter?!?!!:

    oder nutze die NAS mit keinen Bonds/LACP sondern mit Multiblen MAC´s !

    Nunja nutzen kann man sie schon, das macht den Status Quo ja niemals schlechter. Aber der Nutzen gegenüber einem einzelnen Client wird man eben nur mit einem 10G Interface erhöhen. Da wird in der Zukunft erst wieder was in Richtung 2.5 und 5Gbps via RJ45 sinnvoll mehr gehen. An der Stelle ist aber ein NAS auch meistens nicht auf single-user, sondern auf viel User mit viel Bandbreite ausgelegt und dafür ist auch wieder LACP richtig im Einsatz :)



  • Stimmt gibt es auch schon aber leider am Thema vorbei....

    Hänge ich eine NAS in ein VLAN und muss mit einen PC der in einen anderen Netzwerk ist durch die Sense bzw irgend ein Router der eine LACP anbindung besitzt. (Siehe Bild erster Post)

    Bringt mir das LACP auf der NAS nichts außer ich nutze die NAS zudem noch VLAN intern.
    Da zuwischen Router und NAS nur einen Verbindung über eine Schnittstelle aufgebaut wird. MAC Router <========> MAC NAS . Dabei nutzt das LACP Protokoll max eine NIC.