Crash Dump Translation



  • Hi,

    since a few days I have some trouble with my pfsense cluster. I have two identical firewall systems. But one of them (fw-slave) reboots/crashes a few times a day unexpectedly. The last 3 years both systems were running fine.

    Here is the crash dump report. Maybe you can translate it for me or give me a hint what's the reason for the crashes.

    
    Crash report begins.  Anonymous machine information:
    
    amd64
    10.3-RELEASE-p3
    FreeBSD 10.3-RELEASE-p3 #1 3ef16fb(RELENG_2_3_1): Tue May 17 19:34:13 CDT 2016     root@ce23-amd64-builder:/builder/pfsense-231/tmp/obj/builder/pfsense-231/tmp/FreeBSD-src/sys/pfSense
    
    Crash report details:
    
    Filename: /var/crash/bounds
    2
    
    Filename: /var/crash/info.0
    Dump header from device /dev/label/swap0
      Architecture: amd64
      Architecture Version: 1
      Dump Length: 156160B (0 MB)
      Blocksize: 512
      Dumptime: Tue May 24 23:07:59 2016
      Hostname: XXXXXXXXXXXXX
      Magic: FreeBSD Text Dump
      Version String: FreeBSD 10.3-RELEASE-p3 #1 3ef16fb(RELENG_2_3_1): Tue May 17 19:34:13 CDT 2016
        root@ce23-amd64-builder:/builder/pfsense-231/tmp/obj/builder/pfsense-231/tmp/FreeBSD-src/sys/pfSense
      Panic String: 
      Dump Parity: 2430697012
      Bounds: 0
      Dump Status: good
    
    Filename: /var/crash/info.1
    Dump header from device /dev/label/swap0
      Architecture: amd64
      Architecture Version: 1
      Dump Length: 84992B (0 MB)
      Blocksize: 512
      Dumptime: Wed May 25 00:43:37 2016
      Hostname: XXXXXXXXXXXXXXXX
      Magic: FreeBSD Text Dump
      Version String: FreeBSD 10.3-RELEASE-p3 #1 3ef16fb(RELENG_2_3_1): Tue May 17 19:34:13 CDT 2016
        root@ce23-amd64-builder:/builder/pfsense-231/tmp/obj/builder/pfsense-231/tmp/FreeBSD-src/sys/pfSense
      Panic String: 
      Dump Parity: 651459892
      Bounds: 1
      Dump Status: good
    
    Filename: /var/crash/info.last
    Dump header from device /dev/label/swap0
      Architecture: amd64
      Architecture Version: 1
      Dump Length: 84992B (0 MB)
      Blocksize: 512
      Dumptime: Wed May 25 00:43:37 2016
      Hostname: XXXXXXXXXXXX
      Magic: FreeBSD Text Dump
      Version String: FreeBSD 10.3-RELEASE-p3 #1 3ef16fb(RELENG_2_3_1): Tue May 17 19:34:13 CDT 2016
        root@ce23-amd64-builder:/builder/pfsense-231/tmp/obj/builder/pfsense-231/tmp/FreeBSD-src/sys/pfSense
      Panic String: 
      Dump Parity: 651459892
      Bounds: 1
      Dump Status: good
    
    Filename: /var/crash/minfree
    2048
    
    Filename: /var/crash/textdump.tar.0
    ddb.txt���������������������������������������������������������������������������������������������0600����0�������0�������140000������12721141257�  7074� �����������������������������������������������������������������������������������������������������ustar���root����������������������������wheel������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������db:0:kdb.enter.default>  run lockinfo
    db:1:lockinfo> show locks
    No such command
    db:1:locks>  show alllocks
    No such command
    db:1:alllocks>  show lockedvnods
    Locked vnodes
    db:0:kdb.enter.default>  show pcpu
    cpuid        = 7
    dynamic pcpu = 0xfffffe02aba72500
    curthread    = 0xfffff80004539000: pid 12 "irq280: igb1:que 7"
    curpcb       = 0xfffffe01f01fdb80
    fpcurthread  = none
    idlethread   = 0xfffff80004258960: tid 100010 "idle: cpu7"
    curpmap      = 0xffffffff820f85b0
    tssp         = 0xffffffff82113768
    commontssp   = 0xffffffff82113768
    rsp0         = 0xfffffe01f01fdb80
    gs32p        = 0xffffffff821151c0
    ldt          = 0xffffffff82115200
    tss          = 0xffffffff821151f0
    db:0:kdb.enter.default>  bt
    Tracing pid 12 tid 100078 td 0xfffff80004539000
    m_freem() at m_freem+0x20/frame 0xfffffe01f01fd520
    carp_input_c() at carp_input_c+0x24b/frame 0xfffffe01f01fd620
    ip_input() at ip_input+0x10f/frame 0xfffffe01f01fd670
    netisr_dispatch_src() at netisr_dispatch_src+0x62/frame 0xfffffe01f01fd6e0
    ether_demux() at ether_demux+0x116/frame 0xfffffe01f01fd710
    ether_nh_input() at ether_nh_input+0x347/frame 0xfffffe01f01fd770
    netisr_dispatch_src() at netisr_dispatch_src+0x62/frame 0xfffffe01f01fd7e0
    ether_demux() at ether_demux+0xa5/frame 0xfffffe01f01fd810
    ether_nh_input() at ether_nh_input+0x347/frame 0xfffffe01f01fd870
    netisr_dispatch_src() at netisr_dispatch_src+0x62/frame 0xfffffe01f01fd8e0
    igb_rxeof() at igb_rxeof+0x658/frame 0xfffffe01f01fd990
    igb_msix_que() at igb_msix_que+0x16d/frame 0xfffffe01f01fd9e0
    intr_event_execute_handlers() at intr_event_execute_handlers+0xab/frame 0xfffffe01f01fda20
    ithread_loop() at ithread_loop+0x96/frame 0xfffffe01f01fda70
    fork_exit() at fork_exit+0x9a/frame 0xfffffe01f01fdab0
    fork_trampoline() at fork_trampoline+0xe/frame 0xfffffe01f01fdab0
    --- trap 0, rip = 0, rsp = 0, rbp = 0 ---
    db:0:kdb.enter.default>  ps
      pid  ppid  pgrp   uid   state   wmesg         wchan        cmd
    79776 76646   272     0  S       nanslp   0xffffffff82001171 sleep
    50508   272   272     0  S       accept   0xfffff800350f4b46 php-fpm
    76646     1   272     0  S       wait     0xfffff80022dd5000 sh
    75557     1 75557  1002  Ss      select   0xfffff800a110a7c0 dhcpd
    74931     1 74794 65534  S       select   0xfffff800755d13c0 dnsmasq
      623 97816   623     0  S+      bpf      0xfffff80091b99e00 tcpdump
    97816 96414 97816     0  S+      pause    0xfffff80022d180a8 tcsh
    96414 95000 96414     0  Ss+     wait     0xfffff800a1af89e0 sh
    95000  6116 95000     0  Ss      select   0xfffff80022d23240 sshd
     1963 86261 86261     0  S+      ttyin    0xfffff800049ae4a8 sh
    86261     1 86261     0  Ss+     wait     0xfffff8003522f000 login
    31422 30020 31422     0  Ss      (threaded)                  sshlockout_pf
    100360                   S       nanslp   0xffffffff82001172 sshlockout_pf
    100342                   S       piperd   0xfffff80022e7cba0 sshlockout_pf
    35077 35012 35012     0  S       nanslp   0xffffffff82001171 minicron
    35012     1 35012     0  Ss      wait     0xfffff80022d164f0 minicron
    34839 34452 34452     0  S       nanslp   0xffffffff82001170 minicron
    34452     1 34452     0  Ss      wait     0xfffff80022c949e0 minicron
    34273 33855 33855     0  S       nanslp   0xffffffff82001171 minicron
    33855     1 33855     0  Ss      wait     0xfffff800352279e0 minicron
    30020     1 30020     0  Ss      select   0xfffff8007560d440 syslogd
    70582     1 70582     0  Ss      select   0xfffff80075e928c0 bsnmpd
    52732     1 52732     0  Ss      select   0xfffff80075603740 ntpd
    51225     1 51225     0  Ss      nanslp   0xffffffff82001177 cron
    50638 50395 50395     0  S       kqread   0xfffff80022f49b00 nginx
    50482 50395 50395     0  S       kqread   0xfffff800229d0000 nginx
    50395     1 50395     0  Ss      pause    0xfffff80022c96598 nginx
    44109     1 44109     0  Ss      (threaded)                  dpinger
    100293                   S       accept   0xfffff80035077066 dpinger
    100292                   S       nanslp   0xffffffff82001177 dpinger
    100291                   S       nanslp   0xffffffff82001171 dpinger
    100290                   S       sbwait   0xfffff800350773fc dpinger
    100274                   S       uwait    0xfffff800228dca80 dpinger
    44029     1 44029     0  Ss      (threaded)                  dpinger
    100289                   S       accept   0xfffff8006ed18066 dpinger
    100288                   S       nanslp   0xffffffff82001174 dpinger
    100287                   S       nanslp   0xffffffff82001176 dpinger
    100286                   S       sbwait   0xfffff8006ed183fc dpinger
    100271                   S       uwait    0xfffff80022c1ca00 dpinger
    43901     1 43901     0  Ss      (threaded)                  dpinger
    100285                   S       accept   0xfffff8006ed1888e dpinger
    100284                   S       nanslp   0xffffffff82001171 dpinger
    100283                   S       nanslp   0xffffffff82001175 dpinger
    100282                   S       sbwait   0xfffff8006ed18c24 dpinger
    100234                   S       uwait    0xfffff80022903f00 dpinger
    37073     1 37073     0  Ss      select   0xfffff80022d22ac0 xinetd
    35748     1 35748     0  Ss      bpf      0xfffff8006ecc5800 filterlog
     6349     1  6349     0  Ss      (threaded)                  sshlockout_pf
    100275                   S       nanslp   0xffffffff82001173 sshlockout_pf
    100272                   S       uwait    0xfffff8003537a300 sshlockout_pf
     6116     1  6116     0  Ss      select   0xfffff800229e35c0 sshd
      325     1   325     0  Ss      select   0xfffff8002286b2c0 devd
      312   310   310     0  S       kqread   0xfffff80022f6c900 check_reload_status
      310     1   310     0  Ss      kqread   0xfffff80022cf6100 check_reload_status
      272     1   272     0  Ss      kqread   0xfffff80022c44000 php-fpm
       59     0     0     0  DL      mdwait   0xfffff80022805000 [md0]
       23     0     0     0  DL      vlruwt   0xfffff800228244f0 [vnlru]
       22     0     0     0  DL      syncer   0xffffffff82052108 [syncer]
       21     0     0     0  DL      (threaded)                  [bufdaemon]
    100235                   D       sdflush  0xfffff8002290c0e8 [/ worker]
    100219                   D       psleep   0xffffffff82051304 [bufdaemon]
       20     0     0     0  DL      pollid   0xffffffff81fffa90 [idlepoll]
       19     0     0     0  DL      pgzero   0xffffffff8206243c [pagezero]
        9     0     0     0  DL      psleep   0xffffffff820617c0 [vmdaemon]
        8     0     0     0  DL      (threaded)                  [pagedaemon]
    100222                   D       umarcl   0xffffffff82061140 [uma]
    100215                   D       psleep   0xffffffff82112804 [pagedaemon]
        7     0     0     0  DL      idle     0xfffff800044179e0 [enc_daemon0]
        6     0     0     0  DL      waiting_ 0xffffffff821032c0 [sctp_iterator]
        5     0     0     0  DL      pftm     0xffffffff80d5d630 [pf purge]
       18     0     0     0  DL      cooling  0xfffff800044f1958 [acpi_cooling1]
       17     0     0     0  DL      tzpoll   0xffffffff81f3dd20 [acpi_thermal]
       16     0     0     0  DL      (threaded)                  [usb]
    100201                   D       -        0xfffffe0001358e70 [usbus1]
    100200                   D       -        0xfffffe0001358e18 [usbus1]
    100199                   D       -        0xfffffe0001358dc0 [usbus1]
    100198                   D       -        0xfffffe0001358d68 [usbus1]
    100197                   D       -        0xfffffe0001358d10 [usbus1]
    100190                   D       -        0xfffffe0001324e70 [usbus0]
    100189                   D       -        0xfffffe0001324e18 [usbus0]
    100188                   D       -        0xfffffe0001324dc0 [usbus0]
    100187                   D       -        0xfffffe0001324d68 [usbus0]
    100186                   D       -        0xfffffe0001324d10 [usbus0]
        4     0     0     0  DL      (threaded)                  [cam]
    100213                   D       -        0xffffffff81f35cc8 [scanner]
    100038                   D       -        0xffffffff81f35f80 [doneq1]
    100037                   D       -        0xffffffff81f35e80 [doneq0]
       15     0     0     0  DL      -        0xffffffff81f575c0 [rand_harvestq]
        3     0     0     0  DL      crypto_r 0xffffffff8205fc98 [crypto returns]
        2     0     0     0  DL      crypto_w 0xffffffff8205fb40 [crypto]
       14     0     0     0  DL      (threaded)                  [geom]
    100031                   D       -        0xffffffff820f79f8 [g_down]
    100030                   D       -        0xffffffff820f79f0 [g_up]
    100029                   D       -        0xffffffff820f79e8 [g_event]
       13     0     0     0  DL      (threaded)                  [ng_queue]
    100028                   D       sleep    0xffffffff81ef4318 [ng_queue7]
    100027                   D       sleep    0xffffffff81ef4318 [ng_queue6]
    100026                   D       sleep    0xffffffff81ef4318 [ng_queue5]
    100025                   D       sleep    0xffffffff81ef4318 [ng_queue4]
    100024                   D       sleep    0xffffffff81ef4318 [ng_queue3]
    100023                   D       sleep    0xffffffff81ef4318 [ng_queue2]
    100022                   D       sleep    0xffffffff81ef4318 [ng_queue1]
    100021                   D       sleep    0xffffffff81ef4318 [ng_queue0]
       12     0     0     0  RL      (threaded)                  [intr]
    100229                   I                                   [swi1: netisr 7]
    100228                   I                                   [swi1: netisr 6]
    100227                   I                                   [swi1: netisr 5]
    100226                   I                                   [swi1: netisr 4]
    100225                   I                                   [swi1: netisr 3]
    100224                   I                                   [swi1: netisr 2]
    100223                   I                                   [swi1: netisr 1]
    100211                   I                                   [swi1: pfsync]
    100209                   I                                   [swi1: pf send]
    100206                   I                                   [swi0: uart uart+]
    100205                   I                                   [irq1: atkbd0]
    100202                   I                                   [irq340: ahci0]
    100196                   I                                   [irq23: ehci1]
    100195                   I                                   [irq339: em1:link]
    100193                   I                                   [irq338: em1:tx0]
    100191                   I                                   [irq337: em1:rx0]
    100185                   I                                   [irq16: ehci0]
    100182                   I                                   [irq335: igb7:link]
    100180                   I                                   [irq334: igb7:que 7]
    100178                   I                                   [irq333: igb7:que 6]
    100176                   I                                   [irq332: igb7:que 5]
    100174                   I                                   [irq331: igb7:que 4]
    100172                   I                                   [irq330: igb7:que 3]
    100170                   I                                   [irq329: igb7:que 2]
    100168                   I                                   [irq328: igb7:que 1]
    100166                   I                                   [irq327: igb7:que 0]
    100165                   I                                   [irq326: igb6:link]
    100163                   I                                   [irq325: igb6:que 7]
    100161                   I                                   [irq324: igb6:que 6]
    100159                   I                                   [irq323: igb6:que 5]
    100157                   I                                   [irq322: igb6:que 4]
    100155                   I                                   [irq321: igb6:que 3]
    100153                   I                                   [irq320: igb6:que 2]
    100151                   I                                   [irq319: igb6:que 1]
    100149                   I                                   [irq318: igb6:que 0]
    100148                   I                                   [irq317: igb5:link]
    100146                   I                                   [irq316: igb5:que 7]
    100144                   I                                   [irq315: igb5:que 6]
    100142                   I                                   [irq314: igb5:que 5]
    100140                   I                                   [irq313: igb5:que 4]
    100138                   I                                   [irq312: igb5:que 3]
    100136                   I                                   [irq311: igb5:que 2]
    100134                   I                                   [irq310: igb5:que 1]
    100132                   I                                   [irq309: igb5:que 0]
    100131                   I                                   [irq308: igb4:link]
    100129                   I                                   [irq307: igb4:que 7]
    100127                   I                                   [irq306: igb4:que 6]
    100125                   I                                   [irq305: igb4:que 5]
    100123                   I                                   [irq304: igb4:que 4]
    100121                   I                                   [irq303: igb4:que 3]
    100119                   I                                   [irq302: igb4:que 2]
    100117                   I                                   [irq301: igb4:que 1]
    100115                   I                                   [irq300: igb4:que 0]
    100114                   I                                   [irq299: igb3:link]
    100112                   I                                   [irq298: igb3:que 7]
    100110                   I                                   [irq297: igb3:que 6]
    100108                   I                                   [irq296: igb3:que 5]
    100106                   I                                   [irq295: igb3:que 4]
    100104                   I                                   [irq294: igb3:que 3]
    100102                   I                                   [irq293: igb3:que 2]
    100100                   I                                   [irq292: igb3:que 1]
    100098                   I                                   [irq291: igb3:que 0]
    100097                   I                                   [irq290: igb2:link]
    100095                   I                                   [irq289: igb2:que 7]
    100093                   I                                   [irq288: igb2:que 6]
    100091                   I                                   [irq287: igb2:que 5]
    100089                   I                                   [irq286: igb2:que 4]
    100087                   I                                   [irq285: igb2:que 3]
    100085                   I                                   [irq284: igb2:que 2]
    100083                   I                                   [irq283: igb2:que 1]
    100081                   I                                   [irq282: igb2:que 0]
    100080                   I                                   [irq281: igb1:link]
    100078                   Run     CPU 7                       [irq280: igb1:que 7]
    100076                   I                                   [irq279: igb1:que 6]
    100074                   I                                   [irq278: igb1:que 5]
    100072                   I                                   [irq277: igb1:que 4]
    100070                   I                                   [irq276: igb1:que 3]
    100068                   I                                   [irq275: igb1:que 2]
    100066                   I                                   [irq274: igb1:que 1]
    100064                   I                                   [irq273: igb1:que 0]
    100063                   I                                   [irq272: igb0:link]
    100061                   I                                   [irq271: igb0:que 7]
    100059                   I                                   [irq270: igb0:que 6]
    100057                   I                                   [irq269: igb0:que 5]
    100055                   I                                   [irq268: igb0:que 4]
    100053                   I                                   [irq267: igb0:que 3]
    100051                   I                                   [irq266: igb0:que 2]
    100049                   I                                   [irq265: igb0:que 1]
    100047                   I                                   [irq264: igb0:que 0]
    100046                   I                                   [swi5: fast taskq]
    100044                   I                                   [swi6: Giant taskq]
    100042                   I                                   [swi6: task queue]
    100020                   I                                   [swi1: netisr 0]
    100019                   I                                   [swi3: vm]
    100018                   I                                   [swi4: clock]
    100017                   I                                   [swi4: clock]
    100016                   I                                   [swi4: clock]
    100015                   I                                   [swi4: clock]
    100014                   I                                   [swi4: clock]
    100013                   I                                   [swi4: clock]
    100012                   I                                   [swi4: clock]
    100011                   I                                   [swi4: clock]
       11     0     0     0  RL      (threaded)                  [idle]
    100010                   CanRun                              [idle: cpu7]
    100009                   Run     CPU 6                       [idle: cpu6]
    100008                   Run     CPU 5                       [idle: cpu5]
    100007                   Run     CPU 4                       [idle: cpu4]
    100006                   Run     CPU 3                       [idle: cpu3]
    100005                   Run     CPU 2                       [idle: cpu2]
    100004                   Run     CPU 1                       [idle: cpu1]
    100003                   Run     CPU 0                       [idle: cpu0]
        1     0     1     0  SLs     wait     0xfffff800042434f0 [init]
       10     0     0     0  DL      audit_wo 0xffffffff82109d60 [audit]
        0     0     0     0  DLs     (threaded)                  [kernel]
    100280                   D       -        0xfffff80022cf3800 [dummynet]
    100212                   D       -        0xfffff80004261500 [CAM taskq]
    100207                   D       -        0xfffff800049d7a00 [mca taskq]
    100194                   D       -        0xfffff80004835000 [em1 txq (cpuid 1)]
    100192                   D       -        0xfffff80004835300 [em1 rxq (cpuid 0)]
    100184                   D       -        0xfffff800045f6a00 [em0 txq]
    100183                   D       -        0xfffff800045f6c00 [em0 que]
    100181                   D       -        0xfffff800045f7600 [igb7 que]
    100179                   D       -        0xfffff800045f7900 [igb7 que]
    100177                   D       -        0xfffff800045f7c00 [igb7 que]
    100175                   D       -        0xfffff800045f8000 [igb7 que]
    100173                   D       -        0xfffff800045f8300 [igb7 que]
    100171                   D       -        0xfffff800045f8600 [igb7 que]
    100169                   D       -        0xfffff800045f8900 [igb7 que]
    100167                   D       -        0xfffff800045f8c00 [igb7 que]
    100164                   D       -        0xfffff800045d7400 [igb6 que]
    100162                   D       -        0xfffff800045d7700 [igb6 que]
    100160                   D       -        0xfffff800045d7a00 [igb6 que]
    100158                   D       -        0xfffff800045d7d00 [igb6 que]
    100156                   D       -        0xfffff800045d8100 [igb6 que]
    100154                   D       -        0xfffff800045d8400 [igb6 que]
    100152                   D       -        0xfffff800045d8700 [igb6 que]
    100150                   D       -        0xfffff800045d8a00 [igb6 que]
    100147                   D       -        0xfffff800045ca200 [igb5 que]
    100145                   D       -        0xfffff800045ca500 [igb5 que]
    100143                   D       -        0xfffff800045ca800 [igb5 que]
    100141                   D       -        0xfffff800045cab00 [igb5 que]
    100139                   D       -        0xfffff80004584c00 [igb5 que]
    100137                   D       -        0xfffff800045ae000 [igb5 que]
    100135                   D       -        0xfffff800045ae300 [igb5 que]
    100133                   D       -        0xfffff800045ae600 [igb5 que]
    100130                   D       -        0xfffff80004565d00 [igb4 que]
    100128                   D       -        0xfffff80004581100 [igb4 que]
    100126                   D       -        0xfffff80004581400 [igb4 que]
    100124                   D       -        0xfffff80004581700 [igb4 que]
    100122                   D       -        0xfffff80004581a00 [igb4 que]
    100120                   D       -        0xfffff80004581d00 [igb4 que]
    100118                   D       -        0xfffff80004582100 [igb4 que]
    100116                   D       -        0xfffff80004582400 [igb4 que]
    100113                   D       -        0xfffff80004563100 [igb3 que]
    100111                   D       -        0xfffff80004563400 [igb3 que]
    100109                   D       -        0xfffff80004563700 [igb3 que]
    100107                   D       -        0xfffff80004563a00 [igb3 que]
    100105                   D       -        0xfffff80004563d00 [igb3 que]
    100103                   D       -        0xfffff80004564100 [igb3 que]
    100101                   D       -        0xfffff80004564400 [igb3 que]
    100099                   D       -        0xfffff80004564700 [igb3 que]
    100096                   D       -        0xfffff80004543e00 [igb2 que]
    100094                   D       -        0xfffff80004544200 [igb2 que]
    100092                   D       -        0xfffff80004544500 [igb2 que]
    100090                   D       -        0xfffff80004544800 [igb2 que]
    100088                   D       -        0xfffff80004544b00 [igb2 que]
    100086                   D       -        0xfffff80004544e00 [igb2 que]
    100084                   D       -        0xfffff80004545200 [igb2 que]
    100082                   D       -        0xfffff80004545500 [igb2 que]
    100079                   D       -        0xfffff80004536c00 [igb1 que]
    100077                   D       -        0xfffff80004537000 [igb1 que]
    100075                   D       -        0xfffff80004537300 [igb1 que]
    100073                   D       -        0xfffff80004537600 [igb1 que]
    100071                   D       -        0xfffff800044fc700 [igb1 que]
    100069                   D       -        0xfffff800044fca00 [igb1 que]
    100067                   D       -        0xfffff800044fcd00 [igb1 que]
    100065                   D       -        0xfffff8000451e100 [igb1 que]
    100062                   D       -        0xfffff800044c2800 [igb0 que]
    100060                   D       -        0xfffff800044c2b00 [igb0 que]
    100058                   D       -        0xfffff800044c2e00 [igb0 que]
    100056                   D       -        0xfffff800044f9200 [igb0 que]
    100054                   D       -        0xfffff800044f9500 [igb0 que]
    100052                   D       -        0xfffff800044f9800 [igb0 que]
    100050                   D       -        0xfffff800044f9b00 [igb0 que]
    100048                   D       -        0xfffff800044f9e00 [igb0 que]
    100045                   D       -        0xfffff80004239300 [thread]
    100043                   D       -        0xfffff80004239800 [ffs_trim taskq]
    100041                   D       -        0xfffff80004261000 [acpi_task_2]
    100040                   D       -        0xfffff80004261000 [acpi_task_1]
    100039                   D       -        0xfffff80004261000 [acpi_task_0]
    100036                   D       -        0xfffff80004261700 [kqueue taskq]
    100032                   D       -        0xfffff80004263200 [firmware taskq]
    100000                   D       swapin   0xffffffff820f7af8 [swapper]
    db:0:kdb.enter.default>  alltrace
    
    Tracing command sleep pid 79776 tid 100296 td 0xfffff800228494b0
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe02389bc780
    mi_switch() at mi_switch+0xe1/frame 0xfffffe02389bc7c0
    sleepq_catch_signals() at sleepq_catch_signals+0xab/frame 0xfffffe02389bc840
    sleepq_timedwait_sig() at sleepq_timedwait_sig+0x10/frame 0xfffffe02389bc870
    _sleep() at _sleep+0x238/frame 0xfffffe02389bc8f0
    kern_nanosleep() at kern_nanosleep+0x10e/frame 0xfffffe02389bc950
    sys_nanosleep() at sys_nanosleep+0x51/frame 0xfffffe02389bc990
    amd64_syscall() at amd64_syscall+0x40f/frame 0xfffffe02389bcab0
    Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe02389bcab0
    --- syscall (240, FreeBSD ELF64, sys_nanosleep), rip = 0x8008f1f3a, rsp = 0x7fffffffec68, rbp = 0x7fffffffeca0 ---
    
    Tracing command php-fpm pid 50508 tid 100265 td 0xfffff80022d8b4b0
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe0238921710
    mi_switch() at mi_switch+0xe1/frame 0xfffffe0238921750
    sleepq_catch_signals() at sleepq_catch_signals+0xab/frame 0xfffffe02389217d0
    sleepq_wait_sig() at sleepq_wait_sig+0xf/frame 0xfffffe0238921800
    _sleep() at _sleep+0x27d/frame 0xfffffe0238921880
    kern_accept4() at kern_accept4+0x1b1/frame 0xfffffe0238921930
    accept1() at accept1+0x63/frame 0xfffffe0238921990
    amd64_syscall() at amd64_syscall+0x40f/frame 0xfffffe0238921ab0
    Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe0238921ab0
    --- syscall (30, FreeBSD ELF64, sys_accept), rip = 0x801b44fda, rsp = 0x7ffffffec6e8, rbp = 0x7ffffffec720 ---
    
    Tracing command sh pid 76646 tid 100331 td 0xfffff800a17df960
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe0238a6d560
    mi_switch() at mi_switch+0xe1/frame 0xfffffe0238a6d5a0
    sleepq_catch_signals() at sleepq_catch_signals+0xab/frame 0xfffffe0238a6d620
    sleepq_wait_sig() at sleepq_wait_sig+0xf/frame 0xfffffe0238a6d650
    _sleep() at _sleep+0x27d/frame 0xfffffe0238a6d6d0
    kern_wait6() at kern_wait6+0x5de/frame 0xfffffe0238a6d7a0
    sys_wait4() at sys_wait4+0x72/frame 0xfffffe0238a6d990
    amd64_syscall() at amd64_syscall+0x40f/frame 0xfffffe0238a6dab0
    Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe0238a6dab0
    --- syscall (7, FreeBSD ELF64, sys_wait4), rip = 0x800d8bd7a, rsp = 0x7fffffffe868, rbp = 0x7fffffffe910 ---
    
    Tracing command dhcpd pid 75557 tid 100330 td 0xfffff80022dd8000
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe0238a685d0
    mi_switch() at mi_switch+0xe1/frame 0xfffffe0238a68610
    sleepq_catch_signals() at sleepq_catch_signals+0xab/frame 0xfffffe0238a68690
    sleepq_wait_sig() at sleepq_wait_sig+0xf/frame 0xfffffe0238a686c0
    _cv_wait_sig() at _cv_wait_sig+0x17a/frame 0xfffffe0238a68710
    seltdwait() at seltdwait+0xae/frame 0xfffffe0238a68750
    kern_select() at kern_select+0x8fa/frame 0xfffffe0238a68950
    sys_select() at sys_select+0x54/frame 0xfffffe0238a68990
    amd64_syscall() at amd64_syscall+0x40f/frame 0xfffffe0238a68ab0
    Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe0238a68ab0
    --- syscall (93, FreeBSD ELF64, sys_select), rip = 0x800d4b66a, rsp = 0x7fffffffea18, rbp = 0x7fffffffea40 ---
    
    Tracing command dnsmasq pid 74931 tid 100383 td 0xfffff800a1efe000
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe0238b71650
    mi_switch() at mi_switch+0xe1/frame 0xfffffe0238b71690
    sleepq_catch_signals() at sleepq_catch_signals+0xab/frame 0xfffffe0238b71710
    sleepq_wait_sig() at sleepq_wait_sig+0xf/frame 0xfffffe0238b71740
    _cv_wait_sig() at _cv_wait_sig+0x17a/frame 0xfffffe0238b71790
    seltdwait() at seltdwait+0xae/frame 0xfffffe0238b717d0
    kern_poll() at kern_poll+0x464/frame 0xfffffe0238b71970
    sys_poll() at sys_poll+0x61/frame 0xfffffe0238b71990
    amd64_syscall() at amd64_syscall+0x40f/frame 0xfffffe0238b71ab0
    Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe0238b71ab0
    --- syscall (209, FreeBSD ELF64, sys_poll), rip = 0x801462efa, rsp = 0x7fffffffeaf8, rbp = 0x7fffffffec00 ---
    
    Tracing command tcpdump pid 623 tid 100236 td 0xfffff80022e46960
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe0238890680
    mi_switch() at mi_switch+0xe1/frame 0xfffffe02388906c0
    sleepq_catch_signals() at sleepq_catch_signals+0xab/frame 0xfffffe0238890740
    sleepq_timedwait_sig() at sleepq_timedwait_sig+0x10/frame 0xfffffe0238890770
    _sleep() at _sleep+0x238/frame 0xfffffe02388907f0
    bpfread() at bpfread+0x1c7/frame 0xfffffe0238890840
    devfs_read_f() at devfs_read_f+0xd8/frame 0xfffffe02388908a0
    dofileread() at dofileread+0x95/frame 0xfffffe02388908f0
    kern_readv() at kern_readv+0x68/frame 0xfffffe0238890940
    sys_read() at sys_read+0x63/frame 0xfffffe0238890990
    amd64_syscall() at amd64_syscall+0x40f/frame 0xfffffe0238890ab0
    Xfast_syscall() at Xfast_syscall+0xfb/frame 0xfffffe0238890ab0
    --- syscall (3, FreeBSD ELF64, sys_read), rip = 0x80103768a, rsp = 0x7fffffffe288, rbp = 0x7fffffffe3c0 ---
    
    Tracing command tcsh pid 97816 tid 100253 td 0xfffff80022d26000
    sched_switch() at sched_switch+0x2b3/frame 0xfffffe02388e5790
    mi_switch() at [/thread]
    

  • Rebel Alliance Developer Netgate

    That's a bit of an odd place to crash. Usually with a somewhat random crash like that it turns out to be a more general problem like having both pfsync and limiters enabled at the same time – https://redmine.pfsense.org/issues/4310