pfsense Crash NMI indicates hardware failure

bosco

Hallo Zusammen,

meine pfsense hat seit einem Tag abstürze und macht einen automatischen reboot. Dann läuft pfsense wieder für ein paar Stunden und dann wiederholt sich der Crash. Ich habe jetzt erst mal den Supermicro Server stromlos gemach und dann wieder eingeschaltet. Ich warte ob der Crash wieder kommt.

Wer kann helfen? Danke

Hier der Crash Report:

Crash report begins.  Anonymous machine information:

amd64
12.3-STABLE
FreeBSD 12.3-STABLE RELENG_2_6_0-n226742-1285d6d205f pfSense

Crash report details:

No PHP errors found.

Filename: /var/crash/info.0
Dump header from device: /dev/ada0p2
  Architecture: amd64
  Architecture Version: 4
  Dump Length: 77824
  Blocksize: 512
  Compression: none
  Dumptime: Tue Sep 27 09:29:16 2022
  Hostname: pfSense.rbsnet
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 12.3-STABLE RELENG_2_6_0-n226742-1285d6d205f pfSense
  Panic String: NMI indicates hardware failure
  Dump Parity: 1624451452
  Bounds: 0
  Dump Status: good

Filename: /var/crash/textdump.tar.0

usbus1 on ehci0
usbus1: 480Mbps High Speed USB v2.0
ahci0: <Intel Avoton AHCI SATA controller> port 0xe150-0xe157,0xe140-0xe143,0xe130-0xe137,0xe120-0xe123,0xe040-0xe05f mem 0xdf2f2000-0xdf2f27ff irq 19 at device 23.0 on pci0
ahci0: AHCI v1.30 with 4 3Gbps ports, Port Multiplier not supported
ahcich0: <AHCI channel> at channel 0 on ahci0
ahcich1: <AHCI channel> at channel 1 on ahci0
ahcich2: <AHCI channel> at channel 2 on ahci0
ahcich3: <AHCI channel> at channel 3 on ahci0
ahci1: <Intel Avoton AHCI SATA controller> port 0xe110-0xe117,0xe100-0xe103,0xe0f0-0xe0f7,0xe0e0-0xe0e3,0xe020-0xe03f mem 0xdf2f1000-0xdf2f17ff irq 19 at device 24.0 on pci0
ahci1: AHCI v1.30 with 2 6Gbps ports, Port Multiplier not supported
ahcich4: <AHCI channel> at channel 0 on ahci1
ahcich5: <AHCI channel> at channel 1 on ahci1
isab0: <PCI-ISA bridge> at device 31.0 on pci0
isa0: <ISA bus> on isab0
apei0: <ACPI Platform Error Interface> on acpi0
uart0: <16550 or compatible> port 0x3f8-0x3ff irq 4 flags 0x10 on acpi0
uart1: <16550 or compatible> port 0x2f8-0x2ff irq 3 on acpi0
orm0: <ISA Option ROMs> at iomem 0xc0000-0xc7fff,0xc8000-0xc8fff pnpid ORM0000 on isa0
atkbdc0: <Keyboard controller (i8042)> at port 0x60,0x64 on isa0
atkbd0: <AT Keyboard> irq 1 on atkbdc0
kbd0 at atkbd0
atkbd0: [GIANT-LOCKED]
est0: <Enhanced SpeedStep Frequency Control> on cpu0
ZFS filesystem version: 5
ZFS storage pool version: features support (5000)
Timecounters tick every 1.000 msec
Trying to mount root from zfs:pfSense/ROOT/default []...
ugen1.1: <Intel EHCI root HUB> at usbus1
Root mount waiting for: usbus0 usbus1 CAM
ugen0.1: <0x1912 XHCI root HUB> at usbus0
uhub1: <Intel EHCI root HUB, class 9/0, rev 2.00/1.00, addr 1> on usbus1
uhub0: <0x1912 XHCI root HUB, class 9/0, rev 3.00/1.00, addr 1> on usbus0
uhub0: 8 ports with 8 removable, self powered
Root mount waiting for: usbus1 CAM
Root mount waiting for: usbus1 CAM
uhub1: 8 ports with 8 removable, self powered
Root mount waiting for: usbus1 CAM
ugen1.2: <vendor 0x8087 product 0x07db> at usbus1
uhub2 on uhub1
uhub2: <vendor 0x8087 product 0x07db, class 9/0, rev 2.00/0.02, addr 2> on usbus1
Root mount waiting for: usbus1 CAM
uhub2: 4 ports with 4 removable, self powered
ugen1.3: <vendor 0x0557 product 0x7000> at usbus1
uhub3 on uhub2
uhub3: <vendor 0x0557 product 0x7000, class 9/0, rev 2.00/0.00, addr 3> on usbus1
uhub3: 4 ports with 3 removable, self powered
Root mount waiting for: usbus1 CAM
ugen1.4: <vendor 0x0557 product 0x2419> at usbus1
ukbd0 on uhub3
ukbd0: <vendor 0x0557 product 0x2419, class 0/0, rev 1.10/1.00, addr 4> on usbus1
kbd2 at ukbd0
Root mount waiting for: CAM
Root mount waiting for: CAM
Root mount waiting for: CAM
ada0 at ahcich4 bus 0 scbus4 target 0 lun 0
ada0: <KINGSTON SA400S37120G 03070009> ACS-3 ATA SATA 3.x device
ada0: Serial Number 50026B778318AC21
ada0: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 512bytes)
ada0: Command Queueing enabled
ada0: 114473MB (234441648 512 byte sectors)
<118>Configuring crash dumps...
<118>Using /dev/ada0p2 for dump device.
<118>Filesystems are clean, continuing...
<118>Mounting filesystems...
<118>
<118>        __
<118> _ __  / _|___  ___ _ __  ___  ___
<118>| '_ \| |_/ __|/ _ \ '_ \/ __|/ _ \
<118>| |_) |  _\__ \  __/ | | \__ \  __/
<118>| .__/|_| |___/\___|_| |_|___/\___|
<118>|_|
<118>
<118>
<118>Welcome to pfSense 2.6.0-RELEASE...
<118>
<118>No core dumps found.
<118>...ELF ldconfig path: /lib /usr/lib /usr/lib/compat /usr/local/lib /usr/local/lib/compat/pkg /usr/local/lib/compat/pkg /usr/local/lib/ipsec /usr/local/lib/perl5/5.32/mach/CORE
<118>32-bit compatibility ldconfig path:
<118>done.
<118>>>> Removing vital flag from php74... done.
<118>External config loader 1.0 is now starting... ada0p1 ada0p3
<118>Launching the init system...Updating CPU Microcode...
CPU: Intel(R) Atom(TM) CPU  C2750  @ 2.40GHz (2400.07-MHz K8-class CPU)
  Origin="GenuineIntel"  Id=0x406d8  Family=0x6  Model=0x4d  Stepping=8
  Features=0xbfebfbff<FPU,VME,DE,PSE,TSC,MSR,PAE,MCE,CX8,APIC,SEP,MTRR,PGE,MCA,CMOV,PAT,PSE36,CLFLUSH,DTS,ACPI,MMX,FXSR,SSE,SSE2,SS,HTT,TM,PBE>
  Features2=0x43d8e3bf<SSE3,PCLMULQDQ,DTES64,MON,DS_CPL,VMX,EST,TM2,SSSE3,CX16,xTPR,PDCM,SSE4.1,SSE4.2,MOVBE,POPCNT,TSCDLT,AESNI,RDRAND>
  AMD Features=0x28100800<SYSCALL,NX,RDTSCP,LM>
  AMD Features2=0x101<LAHF,Prefetch>
  Structured Extended Features=0x2282<TSCADJ,SMEP,ERMS,NFPUSG>
  Structured Extended Features3=0xc000400<MD_CLEAR,IBPB,STIBP>
  VT-x: PAT,HLT,MTF,PAUSE,EPT,UG,VPID
  TSC: P-state invariant, performance statistics
<118>Done.
<118>.... done.
<118>Initializing.................. done.
<118>Starting device manager (devd)...
ums0 on uhub3
ums0: <vendor 0x0557 product 0x2419, class 0/0, rev 1.10/1.00, addr 4> on usbus1
ums0: 3 buttons and [XYZ] coordinates ID=0
<118>done.
<118>Loading configuration......done.
<118>Updating configuration...done.
<118>Checking config backups consistency.................................done.
<118>Setting up extended sysctls...done.
aesni0: <AES-CBC,AES-CCM,AES-GCM,AES-ICM,AES-XTS> on motherboard
WARNING: Device "crypto" is Giant locked and may be deleted before FreeBSD 14.0.
coretemp0: <CPU On-Die Thermal Sensors> on cpu0
<118>Setting timezone...done.
<118>Configuring loopback interface...
<6>lo0: link state changed to UP
<118>done.
<118>Starting syslog...done.
<118>Starting Secure Shell Services...done.
<118>Setting up interfaces microcode...done.
<118>Configuring loopback interface...done.
<118>Configuring VLAN interfaces...
<6>vlan0: changing name to 'igb0.7'
<118>done.
<118>Configuring MANAGEMENT interface...done.
<118>Configuring WEBSERVER interface...done.
<118>Configuring LAN interface...done.
<118>Configuring WAN interface...
<6>ng0: changing name to 'pppoe0'
<6>igb0: link state changed to UP
<6>igb0.7: link state changed to UP
<6>igb3: link state changed to UP
<6>igb2: link state changed to UP
<118>done.
<118>Configuring CARP settings...done.
<118>Syncing OpenVPN settings...
<6>tun3: changing name to 'ovpns3'
<6>ovpns3: link state changed to UP
<6>tun4: changing name to 'ovpns4'
<6>igb1: link state changed to UP
<6>ovpns4: link state changed to UP
<6>tun1: changing name to 'ovpns1'
<118>done.
<6>ovpns1: link state changed to UP
<6>pflog0: promiscuous mode enabled
<118>Configuring firewall......done.
<118>Starting PFLOG...done.
<118>Setting up gateway monitors...done.
<118>Setting up static routes...route: writing to routing socket: Network is unreachable
<118>done.
<118>Synchronizing user settings...done.
<118>Configuring CRON...done.
<118>Bootstrapping clock...done.
<118>Starting NTP Server...done.
<118>Starting webConfigurator...done.
<118>Starting DHCP service...done.
<118>Starting DHCPv6 service...done.
<118>Configuring firewall......done.
<6>ovpns3: link state changed to DOWN
<6>ovpns3: link state changed to UP
<118>Starting SNMP daemon... done.
<118>Generating RRD graphs...done.
<6>ovpns4: link state changed to DOWN
<6>ovpns4: link state changed to UP
<118>Starting syslog...done.
<118>Starting CRON... done.
<118> Starting package Cron...done.
<118> Starting package acme...done.
<118> Starting package Telegraf...done.
<118> Starting package arpwatch...done.
<118> Starting package nmap...done.
<118> Starting package haproxy...done.
<118> Starting package Service Watchdog...done.
<118> Starting package OpenVPN Client Export Utility...done.
<118>pfSense 2.6.0-RELEASE amd64 Mon Jan 31 19:57:53 UTC 2022
<118>Bootup complete
<6>ovpns1: link state changed to DOWN
<6>ovpns1: link state changed to UP
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb1: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>ovpns4: link state changed to DOWN
<6>ovpns4: link state changed to UP
<6>igb1: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>ovpns3: link state changed to DOWN
<6>ovpns3: link state changed to UP
<6>igb3: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb1: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>ovpns4: link state changed to DOWN
<6>ovpns4: link state changed to UP
<6>igb1: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>ovpns3: link state changed to DOWN
<6>ovpns3: link state changed to UP
<6>igb3: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb1: promiscuous mode disabled
<6>ovpns4: link state changed to DOWN
<6>ovpns4: link state changed to UP
<6>ovpns1: link state changed to DOWN
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>ovpns1: link state changed to UP
<6>igb2: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb1: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb1: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<6>igb2: promiscuous mode disabled
<6>igb1: promiscuous mode disabled
<6>igb3: promiscuous mode disabled
<6>igb1: promiscuous mode enabled
<6>igb3: promiscuous mode enabled
<6>igb2: promiscuous mode enabled
<6>pppoe0: promiscuous mode enabled
<6>pppoe0: promiscuous mode disabled
<2>NMI ISA 70, EISA 0
<2>I/O channel check, likely hardware failure.
panic: NMI indicates hardware failure
cpuid = 5
time = 1664263756
KDB: enter: panic
�����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������panic.txt�������������������������������������������������������������������������������������������0600����0�������0�������36����������14314523114�  7135� �����������������������������������������������������������������������������������������������������ustar���root����������������������������wheel������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������NMI indicates hardware failure��������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������version.txt�����������������������������������������������������������������������������������������0600����0�������0�������75����������14314523114�  7533� �����������������������������������������������������������������������������������������������������ustar���root����������������������������wheeFreeBSD 12.3-STABLE RELENG_2_6_0-n226742-1285d6d205f pfSense

micneu

@bosco wie alt ist die hardware denn?

bosco

@micneu Alt ist sie nicht. Es ist ein Supermicro A1SAI-2750F.

NOCling

Ah die C2x Serie ist doch wie die Celerons dieser Generation von dem Intel Clock Bug betroffen.

Da werden ja massenhaft NAS Systeme mit einem 100Ohm Widerstand geflickt, ob jedoch der passende Pfad bei der Platine rausgeführt wurde um das auch flicken zu können ist mir aber nicht bekannt.

Und lässt sich alt ist sie nicht auch in Zahlen ausdrücken, sagen wir im Monaten?

https://www.heise.de/newsticker/meldung/Cisco-Panne-Grund-moeglicherweise-Intel-Atom-Prozessor-3619283.html

bosco

@nocling Das habe ich auch schon vermutet. Ich hatte den Server gestern komplett aus und neu gestartet. Seitdem ist der Fehler nicht mehr aufgetreten. Ich beobachte weiter.

Zum Alter kann ich sagen es er ca. 3-4 Jahre alt ist.

JeGr

@bosco said in pfsense Crash NMI indicates hardware failure:

@nocling Das habe ich auch schon vermutet. Ich hatte den Server gestern komplett aus und neu gestartet. Seitdem ist der Fehler nicht mehr aufgetreten. Ich beobachte weiter.

Zum Alter kann ich sagen es er ca. 3-4 Jahre alt ist.

Also sofern das nicht nen sehr seltsamer Bug ist, sieht mir das doch nach HW aus:

<2>I/O channel check, likely hardware failure.
panic: NMI indicates hardware failure
cpuid = 5
time = 1664263756
KDB: enter: panic

Der Panic sagt das auch selbst mit "hardware failure" - da könnte @NOCling mit dem Clock HW Bug durchaus recht haben.

NOCling

Dann musst suchen ob der Kontakt hier raus geführt wurde, wenn ja kann man das Flicken.
Hält dann so lange wie ein Privisorium also ewig.

Ansonsten ruhe in kürze in frieden.

Da hat Intel halt mal wieder echt Mist produziert.

micneu

@bosco said in pfsense Crash NMI indicates hardware failure:

@micneu Alt ist sie nicht. Es ist ein Supermicro A1SAI-2750F.

ich finde eine hardware von 2013 sehr alt (sowas hätte ich vor 3-4 jahren nicht mehr gekauft)

JeGr

@micneu Nur weil der SOC 2013 erschienen ist, heißt das nicht, dass das auch 2013 raus kam. In dem Fall wars AFAIR late 2013 als die Testmuster kamen. Das ist aber irrelevant. Es ist ein C2000 SOC und die C-Atome werden mit 8-10y++ von Anfang an konstruiert. Ich hätte jetzt auch wenig Bock nach 3 Jahren privat schon wieder was Neues suchen zu müssen vor allem weil die nicht billig sind/waren. Und wenn man sie später dann ggf. günstig bekommt weil der C3000 kommt und die Kiste reicht einem, warum nicht. Konnte ja bis zum Abrauchen und Skandälchen keiner ahnen, dass statt 8-10y plötzlich wesentlich weniger auf der Agenda stehen weil Intel bei Kleinteilen Probleme hat.

Hilft außerdem jetzt auch niemand rückblickend zu sagen "warum kauft man sowas". Hinterher ist man immer schlauer :)

Ich hätte allerhöchstens "gemeckert" weils ein 2750 ist und der nicht für Netzwerk, sondern für kleine Server gebaut war. Die Netzwerk Kisten haben alle Achten als letzte Ziffer -> C2758. Denn nur die 8er hatten QuickAssist (QAT) mit drauf.

Anyways, hoffe es ist fixbar und nicht doch ein Totalausfall!