gelöst! Interface verliert Link beim Kopieren über zwei VLANs

tpf

Servus,
ich habe jetzt schon das zweite Gigabyte GA-J3455N-D3H mit Realtek NIC und Netgear GS108E Switch in Kombi, welcher beim Kopieren großer Datenmengen den Link aufm Interface verliert. Es ist schon sehr seltsam und ich kann es mir nicht erklären. Kennt jemand ein ähnliches Verhalten?

Feb 26 20:08:22 check_reload_status Reloading filter
Feb 26 20:08:22 php-fpm 97906 /rc.linkup: Hotplug event detected for TEMPINST(opt4) static IP (192.168.5.1 )
Feb 26 20:08:22 php-fpm /rc.linkup: Hotplug event detected for TELEFON(opt2) static IP (192.168.3.1 )
Feb 26 20:08:22 php-fpm 62005 /rc.linkup: Hotplug event detected for LAN(lan) static IP (192.168.1.1 )
Feb 26 20:08:22 check_reload_status Reloading filter
Feb 26 20:08:22 php-fpm /rc.linkup: Hotplug event detected for WLAN(opt1) static IP (192.168.2.1 )
Feb 26 20:08:21 check_reload_status Linkup starting re1.5
Feb 26 20:08:21 check_reload_status Linkup starting re1.4
Feb 26 20:08:21 check_reload_status Linkup starting re1.3
Feb 26 20:08:21 check_reload_status Linkup starting re1.2
Feb 26 20:08:21 check_reload_status Linkup starting re1
Feb 26 20:08:21 kernel re1.5: link state changed to DOWN
Feb 26 20:08:21 kernel re1.4: link state changed to DOWN
Feb 26 20:08:21 kernel re1.3: link state changed to DOWN
Feb 26 20:08:21 kernel re1.2: link state changed to DOWN
Feb 26 20:08:21 kernel re1: link state changed to DOWN
Feb 26 20:08:21 kernel re1: watchdog timeout

EDIT: eben 15GB in drei Dateien kopiert. Alles super. Es scheint eher dann aufzutreten, wenn viele kleine Dateien kopiert werden.

Danke & Grüße

tpf

Ich kann das Verhalten quasi beliebig reproduzieren. Ich kopiere mit ropocopy (beides Windowsen) und schon bei der ersten Datei machts boom Hat man es mal produziert, bekommt die pfS die Interfaces nicht mehr dauerhaft hoch. Quasi an -aus -an - aus - an. Eine Verbindung zu den Rechnern kommt nicht mehr zustande. Ein Reboot hilft dann.

EDIT: Kopieren über Explorer ruft dasselbe Problem hervor. Dauert nur deutlich länger, bis es auftritt. 30GB über Iperf gehen problemlos mit annähernd vollem Gigabit.

Dass man hier keine längeren Logs mehr posten kann, weil diese als SPAM deklariert werden, soll so sein?

bepo

Klingt interessant. Wie ist das BIOS eingestellt? UEFI oder Legacy?
Irgendwelche Energiesparfunktionen im BIOS? Energy Efficiency Einstellungen?

pfSense Einstellungen:
TCP Segmentation Offload aktiviert/deaktiviert?

JeGr

@tpf said in Interface verliert Link beim Kopieren über zwei VLANs:

Dass man hier keine längeren Logs mehr posten kann, weil diese als SPAM deklariert werden, soll so sein?

Nein, aber meistens stehen Domains oder andere Sachen im Log, die vom Spamfilter als bspw. Links erkannt werden und da wir extrem viel LinkSpam bekommen ist Akismet da etwas auf Krawall gebürstet - leider zurecht.
Sobald du aber ein paar hast (5-10 glaube ich) sollte die Einstellung wesentlich gemäßigter sein. Leider ist generell die "Bedanken" bzw. Upvote Mentalität in Foren eher wenig, was schade ist, deshalb - immer mal wieder bei guten Antworten für euch nen Daumen hoch geben :)

Zum Problem: klingt für mich wirklich nach Hardware Problem, wenn das schon das zweite Board ist, umso nerviger. Hast du die Möglichkeit das mit einem anderem Board bzw. anderen Switch zu testen?

tpf

Ob UEFI oder Legacy weiß ich gerade nicht auswendig. Muss ich nachsehen. Ich meine aber UEFI. Oder sieht man das gebootet irgendwo?

Disable Hardware Checksum Offloading an / aus macht keinen Unterschied, außer beim Durchsatz. War aus.
Disable Hardware TCP Segmentation Offloading war an. Aus ändert nichts.
Disable Hardware Large Receive Offloading ist an.

Ich habe noch teurer Switches. Die könnte ich testen und irgendwo liegt noch ein Atom mit Intel NICs. Ansonsten laufen die System hier aber top. Keinerlei Probleme. Es ist mir ein Rätsel.

Grimson

@tpf said in Interface verliert Link beim Kopieren über zwei VLANs:

mit Realtek NIC

Und genau das ist dein Problem. Versuch das hier: https://forum.netgate.com/topic/135850/official-realtek-driver-binary-1-95-for-2-4-4-release und wenn der Treiber nicht hilft dann musst du dir eben vernünftige NICs zulegen statt dem RealTek Schrott.

tpf

@grimson
Vielen Dank! Du hast den entscheidenden Hinweis gegeben. Treiber eingespielt und gut. Ich dachte mir so Etwas schon irgendwo. Habe vor zig Jahren mal ähnliches Theater mit einem defektem bg-Treiber in pfS gehabt.

Jetzt läufts!

Zur Hardware. Finde mal ein bezahlbares ITX-Board mit 10W TDP, 2 NICs und AES-NI, das in ein wirklich kleines Gehäuse mit VESA-Halterung passt. Da gibts genau ein einziges - leider. Intel wäre mir lieber.

tpf

Ah, bzgl. dauerhafter Lösung. War das nicht so, dass die /boot/loader.conf überschrieben wird und man eine loader.conf.local nehmen muss?

bepo

@tpf said in gelöst! Interface verliert Link beim Kopieren über zwei VLANs:

Finde mal ein bezahlbares ITX-Board mit 10W TDP, 2 NICs und AES-NI, das in ein wirklich kleines Gehäuse mit VESA-Halterung passt.

Freut mich, dass es jetzt klappt. So was ist ärgerlich.
Kleines Gehäuse mit 3 NICs, AES-NI und wenig Stromverbrauch: APU2D4 von PCEngines.

JeGr

@bepo das hat aber nichts mit ITX zu tun. :) Dass es kleine Lösungen gibt, ist @tpf denke ich mehr als bekannt. Aber eine APU käme mir heute auch nicht mehr ins Haus.

@tpf genau, loader.conf.local bleibt, .conf kann beim Update überschrieben werden.
Kommt aber drauf an, was du für ein Board hast. Ist da kein PCIe Slot über?

bepo

@jegr said in gelöst! Interface verliert Link beim Kopieren über zwei VLANs:

Aber eine APU käme mir heute auch nicht mehr ins Haus.

Würdest du das begründen? Wäre interessant!

tpf

Jupp, ich kenne die kleinen Teile. Das ist von der Leistungsfähigkeit aber dann preislich uninteressant, wenn man Dampf braucht. Riesige DNSBL oder sonstige Proxy-Dienste brauchen einfach Leistung und die eines J3150 / J3455 ist preislich einfach unschlagbar.

@JeGr

Bei einem Board mit einem onboard-NIC gibt es freie PCI-E. Da ist dann aber wieder die Gehäuseproblematik. Das hier verwendete https://www.inter-tech.de/products/case/mini-itx-nuc/jx-500
hat dafür keine Slots. Technisch machbar wäre das und ist auch erwogen worden, um eben Intel nachrüsten zu können. Die Gehäusediskussion ist aber noch nicht durch.

JeGr

Gut wir nutzen für mehr Power (und wenn nur pfSense läuft) dann einfach die NCA 1510 (gleiche Hardware wie die SG-5100) - die hat dann erstmal genug Dampf ;) Aber ist sicher außerhalb des Firmenumfelds eher die teure Alternative :)
Dachte mir schon, dass es wohl am Gehäuse scheitern muss, ansonsten wäre das die logische Folge gewesen da ne 2- oder 4-Port Intel reinzubauen (wobei dann natürlich wieder PCIe Bus Specs eine Rolle spielen).

tpf

Es ist ein riesen Theater. Hast ein passendes Gehäuse gefunden, ist es wieder zu groß, hat keine Halter UND keine Pico-PSU. Also nen miesen Wirkungsgrad. Da packens nämlich keine 90+ Netzteile rein, sondern die billigsten Netzteile aufm Markt. Und das macht bei den TCO halt doch was aus.

JeGr

I feel you ;) Außer privat hab ich da schon lange aufgehört irgendwas "zu basteln" deshalb. Irgendwas war immer. :)

tpf

Also: auch nach Übertragung mehrerer Millionen kleiner Dateien ist das Problem nicht mehr aufgetreten. Spielen die Entwickler hier eigentlich auch Treiber in die Releases ein oder geschieht das nur in FreeBSD selbst?

Rico

I.d.R. passiert das bei FreeBSD, dazu muss das aber schon von den Lizenzen her passen.

-Rico

JeGr

Das ist ja auch mit ein Grund, warum die OS Updates untendrunter ständig mitgemacht werden und nicht nur große Sprünge wie 11->12, damit man in den kleineren Releases auch alle Bugfix, Feature und Treiber Releases mitnimmt. In Ausnahmefällen (gab da was mit ixg glaube ich) war das auch schonmal selbst gebaut aber die meisten Fälle werden an Upstream gemeldet.

tpf

Ok, also abwarten. An sich finde ich es nicht soo wirklich schlimm oder gar Realtek anzulasten, mit dem Treiber in pfS nicht zurecht gekommen zu sein. Immerhin gibt es einen funktionierenden Treiber, wenngleich dieser auch selbst kompilliert werden muss. Unter Windows und Linux ist das auch öfters der Fall. Da macht ein Treiber schon mal 300MB/sek Unterschied im RAID.