2.4.1 crash report

[grandrivers]

Crash report begins.  Anonymous machine information:

amd64
11.1-RELEASE-p1
FreeBSD 11.1-RELEASE-p1 #306 r313908+69c23db2a29(RELENG_2_4): Thu Sep 28 07:25:05 CDT 2017    root@buildbot2.netgate.com:/builder/ce/tmp/obj/builder/ce/tmp/FreeBSD-src/sys/pfSense

Crash report details:

No PHP errors found.

Filename: /var/crash/bounds
1

Filename: /var/crash/info.0
Dump header from device: /dev/ada0p3
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 75776
  Blocksize: 512
  Dumptime: Thu Sep 28 17:03:58 2017
  Hostname: fw.main
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p1 #306 r313908+69c23db2a29(RELENG_2_4): Thu Sep 28 07:25:05 CDT 2017
    root@buildbot2.netgate.com:/builder/ce/tmp/obj/builder/ce/tmp/FreeBSD-src/sys/pfSense
  Panic String: pfsync_undefer_state: unable to find deferred state
  Dump Parity: 3393581610
  Bounds: 0
  Dump Status: good

Filename: /var/crash/info.last
Dump header from device: /dev/ada0p3
  Architecture: amd64
  Architecture Version: 1
  Dump Length: 75776
  Blocksize: 512
  Dumptime: Thu Sep 28 17:03:58 2017
  Hostname: fw.main
  Magic: FreeBSD Text Dump
  Version String: FreeBSD 11.1-RELEASE-p1 #306 r313908+69c23db2a29(RELENG_2_4): Thu Sep 28 07:25:05 CDT 2017
    root@buildbot2.netgate.com:/builder/ce/tmp/obj/builder/ce/tmp/FreeBSD-src/sys/pfSense
  Panic String: pfsync_undefer_state: unable to find deferred state
  Dump Parity: 3393581610
  Bounds: 0
  Dump Status: good

Filename: /var/crash/minfree
2048

Filename: /var/crash/textdump.tar.0
ddb.txt06000014000013163261676  7105 ustarrootwheeldb:0:kdb.enter.default>  run lockinfo
db:1:lockinfo> show locks
No such command
db:1:locks>  show alllocks
No such command
db:1:alllocks>  show lockedvnods
Locked vnodes
db:0:kdb.enter.default>  show pcpu
cpuid        = 0
dynamic pcpu = 0xb11200
curthread    = 0xfffff80010199000: pid 0 "dummynet"
curpcb      = 0xfffffe0236b03cc0
fpcurthread  = none
idlethread  = 0xfffff80006236000: tid 100003 "idle: cpu0"
curpmap      = 0xffffffff82a3a7c0
tssp        = 0xffffffff82a73890
commontssp  = 0xffffffff82a73890
rsp0        = 0xfffffe0236b03cc0
gs32p        = 0xffffffff82a7a0e8
ldt          = 0xffffffff82a7a128
tss          = 0xffffffff82a7a118
db:0:kdb.enter.default>  bt
Tracing pid 0 tid 100663 td 0xfffff80010199000
kdb_enter() at kdb_enter+0x3b/frame 0xfffffe0236b035c0
vpanic() at vpanic+0x1a3/frame 0xfffffe0236b03640
panic() at panic+0x43/frame 0xfffffe0236b036a0
pfsync_update_state() at pfsync_update_state+0x3c5/frame 0xfffffe0236b036f0
pf_test() at pf_test+0x21cf/frame 0xfffffe0236b03930
pf_check_in() at pf_check_in+0x1d/frame 0xfffffe0236b03950
pfil_run_hooks() at pfil_run_hooks+0x7b/frame 0xfffffe0236b039e0
ip_input() at ip_input+0x456/frame 0xfffffe0236b03a40
netisr_dispatch_src() at netisr_dispatch_src+0xa0/frame 0xfffffe0236b03a90
dummynet_send() at dummynet_send+0x1b4/frame 0xfffffe0236b03ad0
dummynet_task() at dummynet_task+0x223/frame 0xfffffe0236b03b20
taskqueue_run_locked() at taskqueue_run_locked+0x127/frame 0xfffffe0236b03b80
taskqueue_thread_loop() at taskqueue_thread_loop+0xc8/frame 0xfffffe0236b03bb0
fork_exit() at fork_exit+0x85/frame 0xfffffe0236b03bf0
fork_trampoline() at fork_trampoline+0xe/frame 0xfffffe0236b03bf0
–- trap 0, rip = 0, rsp = 0, rbp = 0 ---
db:0:kdb.enter.default>  ps
  pid  ppid  pgrp  uid  state  wmesg        wchan        cmd
44308    1 44308    0  Ss      bpf      0xfffff80010dc5a00 filterlog
43962  573  573    0  S      accept  0xfffff800103ba06c php-fpm
42015    1 42015    0  Ss      (threaded)                  dpinger
100618                  S      uwait    0xfffff800099e6080 dpinger
100657                  S      sbwait  0xfffff800102d3804 dpinger
100658                  S      nanslp  0xffffffff828b4ee1 dpinger
100659                  S      nanslp  0xffffffff828b4ee2 dpinger
100660                  S      accept  0xfffff800102d33cc dpinger
41696    1 41696    0  Ss      (threaded)                  dpinger
100644                  S      uwait    0xfffff80009883580 dpinger
100653                  S      sbwait  0xfffff80067ef7144 dpinger
100654                  S      nanslp  0xffffffff828b4ee3 dpinger
100655                  S      nanslp  0xffffffff828b4ee3 dpinger
100656                  S      accept  0xfffff800102d3a8c dpinger
37076    1 37076    0  Ss      (threaded)                  mpd5
100650                  S      select  0xfffff80009bae440 mpd5
36170    1 36170    65  Ss      select  0xfffff800099b8cc0 dhclient
28926    1 28926    0  Ss      select  0xfffff8004c5d2240 dhclient
16308 14866 16308    0  Ss      (threaded)                  sshlockout_pf
100635                  S      piperd  0xfffff80009efa2f8 sshlockout_pf
100643                  S      nanslp  0xffffffff828b4ee2 sshlockout_pf
16286    1 16286    0  Ss      select  0xfffff8004c3ff540 sshd
15220    1 15220    0  Ss      (threaded)                  mpd5
100641                  S      select  0xfffff8005500c440 mpd5
14866    1 14866    0  Ss      select  0xfffff80010c0a6c0 syslogd
  606    1  606    0  Ss      select  0xfffff8004c6c9340 devd
  591    26    26    0  S+      nanslp  0xffffffff828b4ee2 php-cgi
  589  587  587    0  S      kqread  0xfffff8001039e500 check_reload_status
  587    1  587    0  Ss      kqread  0xfffff8004c586c00 check_reload_status
  574  573  573    0  S      (threaded)                  php-fpm
100634                  S      select  0xfffff8004c0e30c0 php-fpm
100662                  S      select  0xfffff800550130c0 php-fpm
  573    1  573    0  Ss      kqread  0xfffff80010cd8e00 php-fpm
  64    0    0    0  DL      mdwait  0xfffff8000979f800 [md0]
  26    1    26    0  Ss+    pause    0xfffff80009db90a8 sh
  25    0    0    0  DL      vlruwt  0xfffff800097d6000 [vnlru]
  24    0    0    0  DL      syncer  0xffffffff829aeb00 [syncer]
  23    0    0    0  DL      -        0xffffffff829adfbc [bufspacedaemon]
  22    0    0    0  DL      psleep  0xffffffff829ad304 [bufdaemon]
  21    0    0    0  DL      pgzero  0xffffffff829c2764 [pagezero]
  20    0    0    0  DL      psleep  0xffffffff829bec14 [vmdaemon]
  19    0    0    0  DL      (threaded)                  [pagedaemon]
100108                  D      psleep  0xffffffff82a72c85 [pagedaemon]
100115                  D      launds  0xffffffff829bebc4 [laundry: dom0]
100116                  D      umarcl  0xffffffff829be538 [uma]
  18    0    0    0  DL      -        0xffffffff82789400 [rand_harvestq]
  17    0    0    0  DL      pftm    0xffffffff80e93180 [pf purge]
  16    0    0    0  DL      waiting_ 0xffffffff82a61a70 [sctp_iterator]
    9    0    0    0  DL      -        0xffffffff829acb14 [soaiod4]
    8    0    0    0  DL      -        0xffffffff829acb14 [soaiod3]
    7    0    0    0  DL      -        0xffffffff829acb14 [soaiod2]
    6    0    0    0  DL      -        0xffffffff829acb14 [soaiod1]
    5    0    0    0  DL      (threaded)                  [zfskern]
100089                  D      arc_recl 0xffffffff82fa45a8 [arc_reclaim_thread]
100090                  D      arc_dnlc 0xffffffff82fa4550 [arc_dnlc_evicts_thr]
100092                  D      dbuf_evi 0xffffffff82fa72a8 [dbuf_evict_thread]
100093                  D      l2arc_fe 0xffffffff82fa4658 [l2arc_feed_thread]
100579                  D      spa->spa 0xfffff80009945c18 [trim zroot]
100597                  D      tx->tx_q 0xfffff80006592a30 [txg_thread_enter]
100598                  D      tx->tx_s 0xfffff80006592a10 [txg_thread_enter]
  15    0    0    0  DL      (threaded)                  [usb]
100075                  D      -        0xfffffe0000fbdd10 [usbus0]
100076                  D      -        0xfffffe0000fbdd68 [usbus0]
100077                  D      -        0xfffffe0000fbddc0 [usbus0]
100078                  D      -        0xfffffe0000fbde18 [usbus0]
100079                  D      -        0xfffffe0000fbde70 [usbus0]
    4    0    0    0  DL      (threaded)                  [cam]
100037                  D      -        0xffffffff8265c180 [doneq0]
100107                  D      -        0xffffffff8265bfc8 [scanner]
    3    0    0    0  DL      crypto_r 0xffffffff829bd0f0 [crypto returns]
    2    0    0    0  DL      crypto_w 0xffffffff829bcf98 [crypto]
  14    0    0    0  DL      (threaded)                  [geom]
100031                  D      -        0xffffffff82a39b20 [g_event]
100032                  D      -        0xffffffff82a39b28 [g_up]
100033                  D      -        0xffffffff82a39b30 [g_down]
  13    0    0    0  DL      (threaded)                  [ng_queue]
100027                  D      sleep    0xffffffff826159d0 [ng_queue0]
100028                  D      sleep    0xffffffff826159d0 [ng_queue1]
100029                  D      sleep    0xffffffff826159d0 [ng_queue2]
100030                  D      sleep    0xffffffff826159d0 [ng_queue3]
  12    0    0    0  WL      (threaded)                  [intr]
100007                  I                                  [swi3: vm]
100008                  I                                  [swi4: clock (0)]
100009                  I                                  [swi4: clock (1)]
100010                  I                                  [swi4: clock (2)]
100011                  I                                  [swi4: clock (3)]
100012                  I                                  [swi1: netisr 0]
100013                  I                                  [swi1: netisr 1]
100014                  I                                  [swi1: netisr 2]
100015                  I                                  [swi1: netisr 3]
100022                  I                                  [swi6: task queue]
100023                  I                                  [swi6: Giant taskq]
100026                  I                                  [swi5: fast taskq]
100038                  I                                  [irq256: igb0:que 0]
100040                  I                                  [irq257: igb0:que 1]
100042                  I                                  [irq258: igb0:que 2]
100044                  I                                  [irq259: igb0:que 3]
100046                  I                                  [irq260: igb0:link]
100047                  I                                  [irq261: igb1:que 0]
100049                  I                                  [irq262: igb1:que 1]
100051                  I                                  [irq263: igb1:que 2]
100053                  I                                  [irq264: igb1:que 3]
100055                  I                                  [irq265: igb1:link]
100056                  I                                  [irq266: igb2:que 0]
100058                  I                                  [irq267: igb2:que 1]
100060                  I                                  [irq268: igb2:que 2]
100062                  I                                  [irq269: igb2:que 3]
100064                  I                                  [irq270: igb2:link]
100065                  I                                  [irq271: igb3:que 0]
100067                  I                                  [irq272: igb3:que 1]
100069                  I                                  [irq273: igb3:que 2]
100071                  I                                  [irq274: igb3:que 3]
100073                  I                                  [irq275: igb3:link]
100074                  I                                  [irq23: ehci0]
100080                  I                                  [irq276: ahci0]
100081                  I                                  [irq277: ahci1]
100082                  I                                  [swi0: uart uart]
100083                  I                                  [irq1: atkbd0]
100100                  I                                  [swi1: pf send]
100101                  I                                  [swi1: pfsync]
  11    0    0    0  RL      (threaded)                  [idle]
100003                  CanRun                              [idle: cpu0]
100004                  Run    CPU 1                      [idle: cpu1]
100005                  Run    CPU 2                      [idle: cpu2]
100006                  Run    CPU 3                      [idle: cpu3]
    1    0    1    0  SLs    wait    0xfffff80006231588 [init]
  10    0    0    0  DL      audit_wo 0xffffffff82a68c40 [audit]
    0    0    0    0  RLs    (threaded)                  [kernel]
100000                  D      swapin  0xffffffff82a39b68 [swapper]
100016                  D      -        0xfffff80004fa5800 [if_io_tqg_0]
100017                  D      -        0xfffff80004fa5600 [if_io_tqg_1]
100018                  D      -        0xfffff80004fa5400 [if_io_tqg_2]
100019                  D      -        0xfffff80004fa5200 [if_io_tqg_3]
100020                  D      -        0xfffff80006287100 [if_config_tqg_0]
100021                  D      -        0xfffff80006286e00 [kqueue_ctx taskq]
100024                  D      -        0xfffff80006286600 [aiod_kick taskq]
100025                  D      -        0xfffff80006286400

[grandrivers]

seems cut off by forum

[heper]

put crashdumps on a pastebin or attach as txt to the post. they are too long

[jimp]

Looks like limiters+pfsync
https://redmine.pfsense.org/issues/4310