Broadcom BCM57416 (bnxt) - Address family not supported by protocol - 2.6.0

[slu]

Hallo,

ich hatte gestern ein sehr komisches Problem mit einer Broadcom Karte, vielleicht hat jemand eine Idee.

Die Karte ist direkt an den Server angeschlossen und stellt VLANs über ein 10GBit
Verbindung an die KVM Gäste zur Verfügung.

[pfSense VLAN 10,20] ------> [KVM Server VLAN 10,20]

Gestern waren plötzlich alle Gäste auf dem KVM Server "down", das Interface auf der pfSense
war jedoch online (VLAN Interfaces).

Als ich mich auf einem Gast direkt angemeldet habe und die pfSense anpingen wollte kam:

ping: socket: Address family not supported by protocol

Schlußendlich hat dann ein reboot der pfSense geholfen, schön ist der Zustand jedoch nicht.

Das einzige was mit jetzt sponaten einfallen würde wäre in Firmwareupdate der Broadcom,
das wäre aber tatsächlich aus reiner Verzweiflung :)

Alternativ habe ich mir noch überlegt doch einen Switch dazwischen zu hängen, wird sicher nicht schaden.

Falls jemand noch eine ganz andere Idee hat würde ich mich über ein Feedback sehr freuen.

[JeGr]

@slu said in Broadcom BCM57416 (bnxt) - Address family not supported by protocol - 2.6.0:

Als ich mich auf einem Gast direkt angemeldet habe und die pfSense anpingen wollte kam:
ping: socket: Address family not supported by protocol

Dann hatte der Gast aber keine IP4? IP6? Keine Ahnung was aber dem hat dann die entsprechende IP Adresse der Familie gefehlt. Das hat aber IMHO erstmal primär nichts mit der Sense zu tun? Da müsste man dann schon den Gast dazu sehen/gesehen haben was dem fehlt und warum. Normalerweise sollte dazu dann auch was in den Logs der Sense auftauchen.

Cheers

[slu]

@jegr said in [Broadcom BCM57416 (bnxt) - Address family not supported by protocol - 2.6.0]

Dann hatte der Gast aber keine IP4? IP6?

die war da, mit ip a überprüft (Linux Maschine).
Auch an der pfSense, beides statisch konfiguriert, soweit keine Auffälligkeiten.

Ich hatte mein Bild vereinfacht dargestellt, in Wirklichkeit geht die Karte sogar auf zwei KVM Hosts:
bnxt0 ---> KVM 1 VLAN10
bnxt1 ---> KVM 2 VLAN20

Beide Gäste waren weg, auch ein Neustart des KVM 1 brachte keine Besserung, daher habe ich auf der pfSense weiter gesucht.

Das hat aber IMHO erstmal primär nichts mit der Sense zu tun? Da müsste man dann schon den Gast dazu sehen/gesehen haben was dem fehlt und warum.

Leider "doch", denn nach dem Neustart der pfSense war wieder alles ok.
Es war aber nur die Netzwerke an der Broadcom Karten betroffen, dafür aber an beiden Ports der Karte.

Normalerweise sollte dazu dann auch was in den Logs der Sense auftauchen.

Wenn ich da mal reingeschaut hätte äger mich sehr, irgendwann hat die Zeit gegen mich gespielt und ich hatte mich zu einem Neustart hinreisen lassen.

Jetzt hängen die Server an einer Intel Karte und nur ein LTE Modem an der Broadcom, sollte
das Problem wieder auftreten habe ich mehr Zeit zum suchen.

Sehr komisches Problem...

[slu]

@jegr
das ist also die Meldung wenn man keine IP hat, danke für den Hinweis.

Ich hatte noch nie versucht auf einem System ohne Netzwerk zu pingen [...] oder vielleicht doch und es ist schon so lange her das ich es vergessen habe was dann für eine Meldung kommt.

[JeGr]

@slu said in Broadcom BCM57416 (bnxt) - Address family not supported by protocol - 2.6.0:

das ist also die Meldung wenn man keine IP hat, danke für den Hinweis.

jein, hängt stark vom System ab das läuft.
Normalerweise käme bei keiner IP eher

connect: Network is unreachable

aber es hängt stark davon ab, was für ein Tool und welche Plattform. Address Family macht mich aber in dem Zusammenhang stutzig, denn das würde so in die Richtung gehen "es sollte bspw. IP6 benutzt werden aber das Protokoll kann es nicht." - Warum auch immer.

Soweit ich das bspw. im iputils code sehe, kommt die Meldung bspw nur wenn versucht wird, bspw. eine IP6 zu pingen, der Kernel aber ohne IP6 Support gebaut wurde. Also sehr spezifische Umstände.

Sehr ungewöhnlich also, daher wären die Logs und Systemumgebung wirklich interessant gewesen. Also auch wie das System mit den bnxt Karten ausgesehen hat. Wir hatten da auch schon in VMs witzige Sachen, dass nach einem Debian/Ubuntu Update bspw. Systeme mit mehr als einer IP mal random die main host IP getauscht haben (wenn sie mehr als eine haben). Was dann sehr seltsame Nebeneffekte aufgerufen hat, weil das System plötzlich über eine Service IP versucht hat Verbindungen aufzubauen statt über die eigene Host IP. Da wäre ein Blick auf das System ganz interessant gewesen :)

[slu]

@JeGr

heute ist das wieder passiert und dieses mal hatte ich etwas Zeit für die Fehlersuche:

bnxt0: Correctable PCIe error reported by APEI
bnxt0: status 0x00003040 mask 0x00002000
bnxt0: Clearing UC AER errors 0x00100000
bnxt0: Clearing COR AER errors 0x00003040
bnxt0: Clearing PCIe errors 0x0019
bnxt1: Correctable PCIe error reported by APEI
bnxt1: status 0x00003040 mask 0x00002000
bnxt1: Clearing UC AER errors 0x00100000
bnxt1: Clearing COR AER errors 0x00003040
bnxt1: Clearing PCIe errors 0x0019

Da stimmt was nicht und wenn das auftritt hilft nur ein pfSense reboot das wieder Traffic auf bnxt0/1 möglich ist.
Inzwischen sind wir auch bei pfSense 2.7.2 und FreeBSD14, ich fürchte das ist ein Hardware Problem.

Edit: Unser Lieferant geht von einem Hardware Defekt aus und wir tauschen die Hardware...

[slu]

Die Netzwerkkarte ist jetzt seit einer Woche getauscht und das Problem ist nicht mehr aufgetreten.
Vermutlich hatte die Broadcom vor allem unter Last ein Problem was zu einem PCIe Fehler geführt hat...