Fresh Install & Crashes. pfsense 2.4.2 on apu2c4

[GregClark]

Crash Report 2:

Crash report begins.  Anonymous machine information:

amd64
11.1-RELEASE-p4
FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense

Crash report details:

No PHP errors found.

Filename: /var/crash/bounds
9

Filename: /var/crash/info.0
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69120
  Blocksize: 512
  Dumptime: Sun Nov 13 04:28:44 2016
  Hostname: pfSense.localdomain
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 4237454364
  Bounds: 0
  Dump Status: good

Filename: /var/crash/info.1
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Sun Nov 13 00:44:50 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 3747829617
  Bounds: 1
  Dump Status: good

Filename: /var/crash/info.2
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Sun Nov 13 01:57:34 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 3547617137
  Bounds: 2
  Dump Status: good

Filename: /var/crash/info.3
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Sun Nov 13 05:07:33 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 1210144625
  Bounds: 3
  Dump Status: good

Filename: /var/crash/info.4
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Sun Nov 13 05:11:47 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 1310873457
  Bounds: 4
  Dump Status: good

Filename: /var/crash/info.5
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Sun Nov 13 06:38:00 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 2503366513
  Bounds: 5
  Dump Status: good

Filename: /var/crash/info.6
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 70144
  Blocksize: 512
  Dumptime: Sun Nov 13 12:59:56 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String: double fault
  Dump Parity: 1642801176
  Bounds: 6
  Dump Status: good

Filename: /var/crash/info.7
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Sun Nov 13 14:25:37 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 2091145073
  Bounds: 7
  Dump Status: good

Filename: /var/crash/info.8
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 70144
  Blocksize: 512
  Dumptime: Sun Nov 13 16:54:47 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String: spin lock held too long
  Dump Parity: 2055999013
  Bounds: 8
  Dump Status: good

Filename: /var/crash/info.last
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 70144
  Blocksize: 512
  Dumptime: Sun Nov 13 16:54:47 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String: spin lock held too long
  Dump Parity: 2055999013
  Bounds: 8
  Dump Status: good

Filename: /var/crash/minfree
2048

Filename: /var/crash/textdump.tar.0
ddb.txt06000014000013011765774  7105 ustarrootwheeldb:0:kdb.enter.default>  run lockinfo
db:1:lockinfo> show locks
No such command
db:1:locks>  show alllocks
No such command
db:1:alllocks>  show lockedvnods
Locked vnodes
db:0:kdb.enter.default>  show pcpu
cpuid        = 3
dynamic pcpu = 0xfffffe0172b09f00
curthread    = 0xfffff8005b47f000: pid 15650 "cat"
curpcb      = 0xfffffe012051eb80
fpcurthread  = 0xfffff8005b47f000: pid 15650 "cat"
idlethread  = 0xfffff80003975560: tid 100006 "idle: cpu3"
curpmap      = 0xfffff80007b6a138
tssp        = 0xffffffff82a73cc8
commontssp  = 0xffffffff82a73cc8
rsp0        = 0xfffffe012051eb80
gs32p        = 0xffffffff82a7a520
ldt          = 0xffffffff82a7a560
tss          = 0xffffffff82a7a550
db:0:kdb.enter.default>  bt
Tracing pid 15650 tid 100148 td 0xfffff8005b47f000
pmap_remove_pages() at pmap_remove_pages+0x783/frame 0xfffffe012051e860
vmspace_exit() at vmspace_exit+0x9d/frame 0xfffffe012051e8a0
exit1() at exit1+0x5cc/frame 0xfffffe012051e910
sys_sys_exit() at sys_sys_exit+0xd/frame 0xfffffe012051e920
amd64_syscall() at amd64_syscall+0x6c4/frame 0xfffffe012051eab0
Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe012051eab0
–- syscall (1, FreeBSD ELF64, sys_sys_exit), rip = 0x800905cca, rsp = 0x7fffffffec18, rbp = 0x7fffffffec30 ---
db:0:kdb.enter.default>  ps
  pid  ppid  pgrp  uid  state  wmesg        wchan        cmd
15650 15356    25    0  RE      CPU 3                      cat
15356 36822    25    0  S      wait    0xfffff80007b35000 sh
6397  327  327    0  S      accept  0xfffff80007b1d06c php-fpm
88788 88249 88788    0  S+      ttyin    0xfffff800074948b0 sh
88485 88195 88485    0  S+      ttyin    0xfffff8000702d8b0 sh
88249 86176 88249    0  S+      wait    0xfffff80007b51000 sh
88195 87650 88195    0  S+      wait    0xfffff80003cd8000 sh
87953 54545 87953    0  Ss      (threaded)                  sshlockout_pf
100132                  S      piperd  0xfffff8000783d2f8 sshlockout_pf
100173                  S      nanslp  0xffffffff828b51e0 sshlockout_pf
87650    1 87650    0  Ss+    wait    0xfffff800075fe000 login
87644    1 87644    0  Ss+    ttyin    0xfffff80007492cb0 getty
87480    1 87480    0  Ss+    ttyin    0xfffff800074930b0 getty
87201    1 87201    0  Ss+    ttyin    0xfffff800074934b0 getty
86897    1 86897    0  Ss+    ttyin    0xfffff800074938b0 getty
86757    1 86757    0  Ss+    ttyin    0xfffff80007493cb0 getty
86497    1 86497    0  Ss+    ttyin    0xfffff800074940b0 getty
86200    1 86200    0  Ss+    ttyin    0xfffff800074944b0 getty
86176    1 86176    0  Ss+    wait    0xfffff80007533000 login
57022 56704 56704    0  S      nanslp  0xffffffff828b51e0 minicron
56704    1 56704    0  Ss      wait    0xfffff80007848000 minicron
56648 56330 56330    0  S      nanslp  0xffffffff828b51e0 minicron
56330    1 56330    0  Ss      wait    0xfffff8005b45c000 minicron
56176 55930 55930    0  S      nanslp  0xffffffff828b51e0 minicron
55930    1 55930    0  Ss      wait    0xfffff80007b3f000 minicron
54545    1 54545    0  Ss      select  0xfffff80007921240 syslogd
36822    1    25    0  S+      piperd  0xfffff80007900000 sh
30698    1 30698    0  Ss      select  0xfffff8005b295940 radvd
30283    1 30283  136  Ss      select  0xfffff8000788d640 dhcpd
25601    1 25601    0  Ss      (threaded)                  ntpd
100125                  S      select  0xfffff8005b295bc0 ntpd
100139                  S      usem    0xfffff8000750c900 ntpd
24870    1 24870    0  Ss      nanslp  0xffffffff828b51e0 cron
24403 24165 24165    0  S      kqread  0xfffff8005b15ac00 nginx
24326 24165 24165    0  S      kqread  0xfffff80007d69200 nginx
24165    1 24165    0  Ss      pause    0xfffff80007942630 nginx
20398    1 20398    59  Ss      (threaded)                  unbound
100111                  S      kqread  0xfffff80007d3bc00 unbound
100134                  S      kqread  0xfffff800078fcb00 unbound
100135                  S      kqread  0xfffff800078fc400 unbound
100136                  S      kqread  0xfffff800078f9a00 unbound
9173    1  9173    0  Ss      bpf      0xfffff80007c20000 filterlog
  355    1  355    0  Ss      select  0xfffff80007561dc0 devd
  343  341  341    0  S      kqread  0xfffff800078f9600 check_reload_status
  341    1  341    0  Ss      kqread  0xfffff800078f9400 check_reload_status
  327    1  327    0  Ss      kqread  0xfffff8000785ad00 php-fpm
  58    0    0    0  DL      mdwait  0xfffff800074aa800 [md0]
  24    0    0    0  DL      syncer  0xffffffff829aee00 [syncer]
  23    0    0    0  DL      vlruwt  0xfffff80007538000 [vnlru]
  22    0    0    0  DL      (threaded)                  [bufdaemon]
100099                  D      psleep  0xffffffff829ad604 [bufdaemon]
100108                  D      sdflush  0xfffff80007861ae8 [/ worker]
  21    0    0    0  DL      -        0xffffffff829ae2bc [bufspacedaemon]
  20    0    0    0  DL      pgzero  0xffffffff829c2a64 [pagezero]
  19    0    0    0  DL      psleep  0xffffffff829bef14 [vmdaemon]
  18    0    0    0  DL      (threaded)                  [pagedaemon]
100095                  D      psleep  0xffffffff82a72f85 [pagedaemon]
100102                  D      launds  0xffffffff829beec4 [laundry: dom0]
100103                  D      umarcl  0xffffffff829be838 [uma]
  17    0    0    0  DL      -        0xffffffff82789700 [rand_harvestq]
  16    0    0    0  DL      pftm    0xffffffff80e930b0 [pf purge]
    9    0    0    0  DL      waiting_ 0xffffffff82a61d70 [sctp_iterator]
    8    0    0    0  DL      -        0xffffffff829ace14 [soaiod4]
    7    0    0    0  DL      -        0xffffffff829ace14 [soaiod3]
    6    0    0    0  DL      -        0xffffffff829ace14 [soaiod2]
    5    0    0    0  DL      -        0xffffffff829ace14 [soaiod1]
  15    0    0    0  DL      (threaded)                  [usb]
100066                  D      -        0xfffffe0001221460 [usbus0]
100067                  D      -        0xfffffe00012214b8 [usbus0]
100068                  D      -        0xfffffe0001221510 [usbus0]
100069                  D      -        0xfffffe0001221568 [usbus0]
100070                  D      -        0xfffffe00012215c0 [usbus0]
100073                  D      -        0xfffffe0000f85d10 [usbus1]
100074                  D      -        0xfffffe0000f85d68 [usbus1]
100075                  D      -        0xfffffe0000f85dc0 [usbus1]
100076                  D      -        0xfffffe0000f85e18 [usbus1]
100077                  D      -        0xfffffe0000f85e70 [usbus1]
    4    0    0    0  DL      (threaded)                  [cam]
100037                  D      -        0xffffffff8265c480 [doneq0]
100094                  D      -        0xffffffff8265c2c8 [scanner]
    3    0    0    0  DL      crypto_r 0xffffffff829bd3f0 [crypto returns]
    2    0    0    0  DL      crypto_w 0xffffffff829bd298 [crypto]
  14    0    0    0  DL      (threaded)                  [geom]
100031                  D      -        0xffffffff82a39e20 [g_event]
100032                  D      -        0xffffffff82a39e28 [g_up]
100033                  D      -        0xffffffff82a39e30 [g_down]
  13    0    0    0  DL      (threaded)                  [ng_queue]
100027                  D      sleep    0xffffffff82615c70 [ng_queue0]
100028                  D      sleep    0xffffffff82615c70 [ng_queue1]
100029                  D      sleep    0xffffffff82615c70 [ng_queue2]
100030                  D      sleep    0xffffffff82615c70 [ng_queue3]
  12    0    0    0  WL      (threaded)                  [intr]
100007                  I                                  [swi1: netisr 0]
100008                  I                                  [swi1: netisr 1]
100009                  I                                  [swi1: netisr 2]
100010                  I                                  [swi1: netisr 3]
100011                  I                                  [swi3: vm]
100012                  I                                  [swi4: clock (0)]
100013                  I                                  [swi4: clock (1)]
100014                  I                                  [swi4: clock (2)]
100015                  I                                  [swi4: clock (3)]
100022                  I                                  [swi6: task queue]
100023                  I                                  [swi6: Giant taskq]
100026                  I                                  [swi5: fast taskq]
100038                  I                                  [irq256: igb0:que 0]
100040                  I                                  [irq257: igb0:que 1]
100042                  I                                  [irq258: igb0:que 2]
100044                  I                                  [irq259: igb0:que 3]
100046                  I                                  [irq260: igb0:link]
100047                  I                                  [irq261: igb1:que 0]
100049                  I                                  [irq262: igb1:que 1]
100051                  I                                  [irq263: igb1:que 2]
100053                  I                                  [irq264: igb1:que 3]
100055                  I                                  [irq265: igb1:link]
100056                  I                                  [irq266: igb2:que 0]
100058                  I                                  [irq267: igb2:que 1]
100060                  I                                  [irq268: igb2:que 2]
100062                  I                                  [irq269: igb2:que 3]
100064                  I                                  [irq270: igb2:link]
100065                  I                                  [irq271: xhci0]
100071                  I                                  [irq19: ahci0]
100072                  I                                  [irq18: ehci0]
100078                  I                                  [irq16: sdhci_pci0]
100079                  I                                  [swi0: uart uart]
100087                  I                                  [swi1: pf send]
100088                  I                                  [swi1: pfsync]
  11    0    0    0  RL      (threaded)                  [idle]
100003                  Run    CPU 0                      [idle: cpu0]
100004                  Run    CPU 1                      [idle: cpu1]
100005                  Run    CPU 2                      [idle: cpu2]
100006                  CanRun                              [idle: cpu3]
    1    0    1    0  SLs    wait    0xfffff80003972588 [init]
  10    0    0    0  DL      audit_wo 0xffffffff82a68f40 [audit]
    0    0    0    0  DLs    (threaded)                  [kernel]
100000                  D      swapin  0xffffffff82a39e68 [swapper]
100016                  D      -        0xfffff8000398a900 [if_config_tqg_0]
100017                  D      -        0xfffff8000398a700 [if_io_tqg_0]
100018                  D      -        0xfffff8000398a500 [if_io_tqg_1]
100019                  D      -        0xfffff8000398a300 [if_io_tqg_2]
100020                  D      -        0xfffff8000398a100 [if_io_tqg_3]
100021                  D      -        0xfffff80003989e00 [kqueue_ctx taskq]
100024                  D      -        0xfffff80003989600 [aiod_kick taskq]
100025                  D      -        0xfffff80003989400

[GregClark]

For ease, I have also attached the two crash reports in the 1st post. Thank you

[Stugots]

What firmware are you running on your APU2C4?

[GregClark]

20160307_1534353

There is a 3/2017 one on their website I am going to flash to and see if that helps. While sitting here, I have heard the device reboot 2 times lol.

[Stugots]

I would look into updating the firmware on it. Also, are you sure you seated the heat spreader correctly?

I believe I’m running 4.0.7

https://github.com/pcengines/apu2-documentation#building-firmware-using-apu2-image-builder

I've seen a number of people have problems with the latest 4.6 branch of firmware.  Seems like the 4.0 branch is the most stable with pfSense for now.

[GregClark]

I will give that firmware a shot.

And I am confident the heat spreader is on right. My temps have been a stable 55c from what pfsense temp monitor tells me.

Going to throw a linux vm on this laptop and try building out the firmware update usb that way. The windows usb builder isn't booting on the apu2 for me.

[GregClark]

Actually. I just got it working on Windows. The APU Tinycore flash drive builder they supply doesn't build it out correctly on Windows 10. You have to run the program in win7 compatibility mode.

Flashing BIOS as we speak.

[GregClark]

Firmware was updated. I ran it over night at work with nothing plugged into it other than power. It still crashes, here is the dump.

Crash report begins.  Anonymous machine information:

amd64
11.1-RELEASE-p4
FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense

Crash report details:

No PHP errors found.

Filename: /var/crash/bounds
1

Filename: /var/crash/info.0
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Wed Nov 16 18:41:52 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 3985920881
  Bounds: 0
  Dump Status: good

Filename: /var/crash/info.last
Dump header from device: /dev/gptid/2cc5adb3-a93f-11e6-a587-000db946eb48
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 69632
  Blocksize: 512
  Dumptime: Wed Nov 16 18:41:52 2016
  Hostname: nspfsense.null.services
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense
  Panic String:
  Dump Parity: 3985920881
  Bounds: 0
  Dump Status: good

Filename: /var/crash/textdump.tar.0
ddb.txt06000014000013013176320  7066 ustarrootwheeldb:0:kdb.enter.default>  run lockinfo
db:1:lockinfo> show locks
No such command
db:1:locks>  show alllocks
No such command
db:1:alllocks>  show lockedvnods
Locked vnodes
db:0:kdb.enter.default>  show pcpu
cpuid        = 3
dynamic pcpu = 0xfffffe0172b09f00
curthread    = 0xfffff80003cb4000: pid 56041 "egrep"
curpcb      = 0xfffffe012051eb80
fpcurthread  = 0xfffff80003cb4000: pid 56041 "egrep"
idlethread  = 0xfffff80003975560: tid 100006 "idle: cpu3"
curpmap      = 0xfffff80060658138
tssp        = 0xffffffff82a73cc8
commontssp  = 0xffffffff82a73cc8
rsp0        = 0xfffffe012051eb80
gs32p        = 0xffffffff82a7a520
ldt          = 0xffffffff82a7a560
tss          = 0xffffffff82a7a550
db:0:kdb.enter.default>  bt
Tracing pid 56041 tid 100148 td 0xfffff80003cb4000
pmap_remove_pages() at pmap_remove_pages+0x298/frame 0xfffffe012051e860
vmspace_exit() at vmspace_exit+0x9d/frame 0xfffffe012051e8a0
exit1() at exit1+0x5cc/frame 0xfffffe012051e910
sys_sys_exit() at sys_sys_exit+0xd/frame 0xfffffe012051e920
amd64_syscall() at amd64_syscall+0x6c4/frame 0xfffffe012051eab0
Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe012051eab0
–- syscall (1, FreeBSD ELF64, sys_sys_exit), rip = 0x800f5ccca, rsp = 0x7fffffffeb88, rbp = 0x7fffffffeba0 ---
db:0:kdb.enter.default>  ps
  pid  ppid  pgrp  uid  state  wmesg        wchan        cmd
56884 55522    25    0  L      *vm objec 0xfffff8005d780e40 sed
56830 55522    25    0  L      *vm objec 0xfffff8005d780e40 wc
56824 55522    25    0  R      CPU 1                      sh
56787 55522    25    0  S      piperd  0xfffff800075a05f0 awk
56576 55522    25    0  R      CPU 2                      awk
56357 55522    25    0  L      *vm objec 0xfffff8005d780e40 grep
56041 55522    25    0  RE      CPU 3                      egrep
55522 35112    25    0  S      wait    0xfffff800606ba588 sh
30987  307  307    0  S      accept  0xfffff80007a43a8c php-fpm
4287    1  4287  136  Ss      select  0xfffff80007045b40 dhcpd
99502    1 99502    59  Ss      (threaded)                  unbound
100163                  S      kqread  0xfffff80060510800 unbound
100206                  S      kqread  0xfffff80007c9e300 unbound
100207                  S      kqread  0xfffff80003ca7900 unbound
100208                  S      kqread  0xfffff80007840e00 unbound
87732 87137 87732    0  S+      ttyin    0xfffff8000703a4b0 sh
87477 87300 87477    0  S+      ttyin    0xfffff8000702c8b0 sh
87300 86745 87300    0  S+      wait    0xfffff8000785e588 sh
87137 85724 87137    0  S+      wait    0xfffff800075de000 sh
86979 54005 86979    0  Ss      (threaded)                  sshlockout_pf
100121                  S      piperd  0xfffff80007821be0 sshlockout_pf
100170                  S      nanslp  0xffffffff828b51e3 sshlockout_pf
86745    1 86745    0  Ss+    wait    0xfffff80007815588 login
86677    1 86677    0  Ss+    ttyin    0xfffff800074af8b0 getty
86643    1 86643    0  Ss+    ttyin    0xfffff800074afcb0 getty
86517    1 86517    0  Ss+    ttyin    0xfffff800074b00b0 getty
86227    1 86227    0  Ss+    ttyin    0xfffff800074b04b0 getty
86048    1 86048    0  Ss+    ttyin    0xfffff800074b08b0 getty
86026    1 86026    0  Ss+    ttyin    0xfffff800074b0cb0 getty
85906    1 85906    0  Ss+    ttyin    0xfffff800074b10b0 getty
85724    1 85724    0  Ss+    wait    0xfffff8000742d588 login
56760 56528 56528    0  S      nanslp  0xffffffff828b51e2 minicron
56528    1 56528    0  Ss      wait    0xfffff800604bb000 minicron
56201 55846 55846    0  S      nanslp  0xffffffff828b51e1 minicron
55846    1 55846    0  Ss      wait    0xfffff8005d79a588 minicron
55566 55256 55256    0  S      nanslp  0xffffffff828b51e2 minicron
55256    1 55256    0  Ss      wait    0xfffff800604bb588 minicron
54005    1 54005    0  Ss      select  0xfffff80003c3ecc0 syslogd
35112    1    25    0  S+      piperd  0xfffff80060493000 sh
30093    1 30093    0  Ss      select  0xfffff800602ab2c0 radvd
25101    1 25101    0  Ss      (threaded)                  ntpd
100142                  S      select  0xfffff8005d7d99c0 ntpd
100143                  S      usem    0xfffff80060152700 ntpd
24891    1 24891    0  Ss      nanslp  0xffffffff828b51e0 cron
24173 23814 23814    0  S      kqread  0xfffff8000754fd00 nginx
24013 23814 23814    0  S      kqread  0xfffff80060178e00 nginx
23814    1 23814    0  Ss      pause    0xfffff800078140a8 nginx
10705    1 10705    0  Ss      bpf      0xfffff80007d6ca00 filterlog
  335    1  335    0  Ss      select  0xfffff80007902d40 devd
  323  321  321    0  S      kqread  0xfffff800074a3600 check_reload_status
  321    1  321    0  Ss      kqread  0xfffff800074a3000 check_reload_status
  307    1  307    0  Ss      kqread  0xfffff80007537400 php-fpm
  57    0    0    0  DL      mdwait  0xfffff800074aa800 [md0]
  24    0    0    0  DL      syncer  0xffffffff829aee00 [syncer]
  23    0    0    0  DL      vlruwt  0xfffff80003cd2588 [vnlru]
  22    0    0    0  DL      (threaded)                  [bufdaemon]
100099                  D      psleep  0xffffffff829ad604 [bufdaemon]
100109                  D      sdflush  0xfffff800039d60e8 [/ worker]
  21    0    0    0  DL      -        0xffffffff829ae2bc [bufspacedaemon]
  20    0    0    0  DL      pgzero  0xffffffff829c2a64 [pagezero]
  19    0    0    0  DL      psleep  0xffffffff829bef14 [vmdaemon]
  18    0    0    0  DL      (threaded)                  [pagedaemon]
100095                  D      psleep  0xffffffff82a72f85 [pagedaemon]
100102                  D      launds  0xffffffff829beec4 [laundry: dom0]
100103                  D      umarcl  0xffffffff829be838 [uma]
  17    0    0    0  DL      -        0xffffffff82789700 [rand_harvestq]
  16    0    0    0  DL      pftm    0xffffffff80e930b0 [pf purge]
    9    0    0    0  DL      waiting_ 0xffffffff82a61d70 [sctp_iterator]
    8    0    0    0  DL      -        0xffffffff829ace14 [soaiod4]
    7    0    0    0  DL      -        0xffffffff829ace14 [soaiod3]
    6    0    0    0  DL      -        0xffffffff829ace14 [soaiod2]
    5    0    0    0  DL      -        0xffffffff829ace14 [soaiod1]
  15    0    0    0  DL      (threaded)                  [usb]
100066                  D      -        0xfffffe0001221460 [usbus0]
100067                  D      -        0xfffffe00012214b8 [usbus0]
100068                  D      -        0xfffffe0001221510 [usbus0]
100069                  D      -        0xfffffe0001221568 [usbus0]
100070                  D      -        0xfffffe00012215c0 [usbus0]
100073                  D      -        0xfffffe0000f85d10 [usbus1]
100074                  D      -        0xfffffe0000f85d68 [usbus1]
100075                  D      -        0xfffffe0000f85dc0 [usbus1]
100076                  D      -        0xfffffe0000f85e18 [usbus1]
100077                  D      -        0xfffffe0000f85e70 [usbus1]
    4    0    0    0  DL      (threaded)                  [cam]
100037                  D      -        0xffffffff8265c480 [doneq0]
100094                  D      -        0xffffffff8265c2c8 [scanner]
    3    0    0    0  DL      crypto_r 0xffffffff829bd3f0 [crypto returns]
    2    0    0    0  DL      crypto_w 0xffffffff829bd298 [crypto]
  14    0    0    0  DL      (threaded)                  [geom]
100031                  D      -        0xffffffff82a39e20 [g_event]
100032                  D      -        0xffffffff82a39e28 [g_up]
100033                  D      -        0xffffffff82a39e30 [g_down]
  13    0    0    0  DL      (threaded)                  [ng_queue]
100027                  D      sleep    0xffffffff82615c70 [ng_queue0]
100028                  D      sleep    0xffffffff82615c70 [ng_queue1]
100029                  D      sleep    0xffffffff82615c70 [ng_queue2]
100030                  D      sleep    0xffffffff82615c70 [ng_queue3]
  12    0    0    0  WL      (threaded)                  [intr]
100007                  I                                  [swi1: netisr 0]
100008                  I                                  [swi1: netisr 1]
100009                  I                                  [swi1: netisr 2]
100010                  I                                  [swi1: netisr 3]
100011                  I                                  [swi3: vm]
100012                  I                                  [swi4: clock (0)]
100013                  I                                  [swi4: clock (1)]
100014                  I                                  [swi4: clock (2)]
100015                  I                                  [swi4: clock (3)]
100022                  I                                  [swi6: task queue]
100023                  I                                  [swi6: Giant taskq]
100026                  I                                  [swi5: fast taskq]
100038                  I                                  [irq256: igb0:que 0]
100040                  I                                  [irq257: igb0:que 1]
100042                  I                                  [irq258: igb0:que 2]
100044                  I                                  [irq259: igb0:que 3]
100046                  I                                  [irq260: igb0:link]
100047                  I                                  [irq261: igb1:que 0]
100049                  I                                  [irq262: igb1:que 1]
100051                  I                                  [irq263: igb1:que 2]
100053                  I                                  [irq264: igb1:que 3]
100055                  I                                  [irq265: igb1:link]
100056                  I                                  [irq266: igb2:que 0]
100058                  I                                  [irq267: igb2:que 1]
100060                  I                                  [irq268: igb2:que 2]
100062                  I                                  [irq269: igb2:que 3]
100064                  I                                  [irq270: igb2:link]
100065                  I                                  [irq271: xhci0]
100071                  I                                  [irq19: ahci0]
100072                  I                                  [irq18: ehci0]
100078                  I                                  [irq16: sdhci_pci0]
100079                  I                                  [swi0: uart uart]
100087                  I                                  [swi1: pf send]
100088                  I                                  [swi1: pfsync]
  11    0    0    0  RL      (threaded)                  [idle]
100003                  Run    CPU 0                      [idle: cpu0]
100004                  CanRun                              [idle: cpu1]
100005                  CanRun                              [idle: cpu2]
100006                  CanRun                              [idle: cpu3]
    1    0    1    0  SLs    wait    0xfffff80003972588 [init]
  10    0    0    0  DL      audit_wo 0xffffffff82a68f40 [audit]
    0    0    0    0  DLs    (threaded)                  [kernel]
100000                  D      swapin  0xffffffff82a39e68 [swapper]
100016                  D      -        0xfffff8000398a900 [if_config_tqg_0]
100017                  D      -        0xfffff8000398a700 [if_io_tqg_0]
100018                  D      -        0xfffff8000398a500 [if_io_tqg_1]
100019                  D      -        0xfffff8000398a300 [if_io_tqg_2]
100020                  D      -        0xfffff8000398a100 [if_io_tqg_3]
100021                  D      -        0xfffff80003989e00 [kqueue_ctx taskq]
100024                  D      -        0xfffff80003989600 [aiod_kick taskq]
100025                  D      -        0xfffff80003989400

[GregClark]

Anyone see anything notable about the log above that gives any hints on why the system keep crashing?

[GregClark]

Realized the log above wasn't full.

Here is the end of it. Here is also a pastebin of the entire crash log. https://pastebin.com/ixDCdTCm

Fatal trap 9: general protection fault while in kernel mode
cpuid = 3; apic id = 03
instruction pointer = 0x20:0xffffffff810d2048
stack pointer         = 0x28:0xfffffe012051e7a0
frame pointer         = 0x28:0xfffffe012051e860
code segment = base 0x0, limit 0xfffff, type 0x1b
= DPL 0, pres 1, long 1, def32 0, gran 1
processor eflags = interrupt enabled, resume, IOPL = 0
current process = 56041 (egrep)
version.txt06000027313013176320  7611 ustarrootwheelFreeBSD 11.1-RELEASE-p4 #5 r313908+79c92265a31(RELENG_2_4): Mon Nov 20 08:18:22 CST 2017
    root@buildbot2.netgate.com:/builder/ce-242/tmp/obj/builder/ce-242/tmp/FreeBSD-src/sys/pfSense

[GregClark]

Reflashed the BIOS to 4.0.12.

Ran a memtest for a week, 0 errors.

Stopped the memtest this morning. Let PFSENSE boot, withing 5 minutes it crashed. Below is the log in the pastebin link.

https://pastebin.com/hHSnpnmg