Problems after upgrade 2.1.5 to 2.2.4



  • hi, after upgrade to 2.2.4 from 2.1.5 i have problems of kernel panic.

    the pfsense with problems is a backup firewall, i have many reboots.

    i have reinstalled the pfsense many times but the problem continues. the same scenary with others machines work fine.

    this is the crash reporter.

    thanks

    Crash report begins.  Anonymous machine information:

    amd64
    10.1-RELEASE-p15
    FreeBSD 10.1-RELEASE-p15 #0 c5ab052(releng/10.1)-dirty: Sat Jul 25 20:20:58 CDT 2015    root@pfs22-amd64-builder:/usr/obj.amd64/usr/pfSensesrc/src/sys/pfSense_SMP.10

    Crash report details:

    Filename: /var/crash/bounds
    1

    Filename: /var/crash/info.0
    Dump header from device /dev/label/swap0
      Architecture: amd64
      Architecture Version: 1
      Dump Length: 88576B (0 MB)
      Blocksize: 512
      Dumptime: Wed Oct  7 07:53:58 2015
      Hostname: pfSense.localdomain
      Magic: FreeBSD Text Dump
      Version String: FreeBSD 10.1-RELEASE-p15 #0 c5ab052(releng/10.1)-dirty: Sat Jul 25 20:20:58 CDT 2015
        root@pfs22-amd64-builder:/usr/obj.amd64/usr/pfSensesrc/src/sys/pfSense_SMP.10
      Panic String:
      Dump Parity: 2478310703
      Bounds: 0
      Dump Status: good

    Filename: /var/crash/info.last
    Dump header from device /dev/label/swap0
      Architecture: amd64
      Architecture Version: 1
      Dump Length: 88576B (0 MB)
      Blocksize: 512
      Dumptime: Wed Oct  7 07:53:58 2015
      Hostname: pfSense.localdomain
      Magic: FreeBSD Text Dump
      Version String: FreeBSD 10.1-RELEASE-p15 #0 c5ab052(releng/10.1)-dirty: Sat Jul 25 20:20:58 CDT 2015
        root@pfs22-amd64-builder:/usr/obj.amd64/usr/pfSensesrc/src/sys/pfSense_SMP.10
      Panic String:
      Dump Parity: 2478310703
      Bounds: 0
      Dump Status: good

    Filename: /var/crash/textdump.tar.0
    ddb.txt���������������������������������������������������������������������������������������������0600����0�������0�������140000������12605147626�  7103� �����������������������������������������������������������������������������������������������������ustar���root����������������������������wheel������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������db:0:kdb.enter.default>  run lockinfo
    db:1:lockinfo> show locks
    No such command
    db:1:locks>  show alllocks
    No such command
    db:1:alllocks>  show lockedvnods
    Locked vnodes
    db:0:kdb.enter.default>  show pcpu
    cpuid        = 2
    dynamic pcpu = 0xfffffe009912f800
    curthread    = 0xfffff80003538920: pid 0 "em2 taskq"
    curpcb      = 0xfffffe0038a96cc0
    fpcurthread  = none
    idlethread  = 0xfffff80003251490: tid 100005 "idle: cpu2"
    curpmap      = 0xffffffff82181fd8
    tssp        = 0xffffffff8219d060
    commontssp  = 0xffffffff8219d060
    rsp0        = 0xfffffe0038a96cc0
    gs32p        = 0xffffffff8219eab8
    ldt          = 0xffffffff8219eaf8
    tss          = 0xffffffff8219eae8
    db:0:kdb.enter.default>  bt
    Tracing pid 0 tid 100040 td 0xfffff80003538920
    ether_nh_input() at ether_nh_input+0x84/frame 0xfffffe0038a969d0
    netisr_dispatch_src() at netisr_dispatch_src+0x62/frame 0xfffffe0038a96a40
    lem_rxeof() at lem_rxeof+0x4a1/frame 0xfffffe0038a96af0
    lem_handle_rxtx() at lem_handle_rxtx+0x33/frame 0xfffffe0038a96b30
    taskqueue_run_locked() at taskqueue_run_locked+0xe5/frame 0xfffffe0038a96b80
    taskqueue_thread_loop() at taskqueue_thread_loop+0xa8/frame 0xfffffe0038a96bb0
    fork_exit() at fork_exit+0x9a/frame 0xfffffe0038a96bf0
    fork_trampoline() at fork_trampoline+0xe/frame 0xfffffe0038a96bf0
    –- trap 0, rip = 0, rsp = 0xfffffe0038a96cb0, rbp = 0 ---
    db:0:kdb.enter.default>  ps
      pid  ppid  pgrp  uid  state  wmesg        wchan        cmd
    6948 49759    22    0  S      nanslp  0xffffffff81f6de71 sleep
    75877  240  240    0  S      accept  0xfffff80003f2288e php-fpm
    67004 66689 67004    0  S+      ttyin    0xfffff800035aa0a8 sh
    67002 75583 67002    0  Ss      (threaded)                  sshlockout_pf
    100174                  S      nanslp  0xffffffff81f6de71 sshlockout_pf
    100134                  S      piperd  0xfffff800ba704ba0 sshlockout_pf
    66689 66583 66689    0  S+      wait    0xfffff800ba6a1000 sh
    66583    1 66583    0  Ss+    wait    0xfffff80003c5a000 login
    75583    1 75583    0  Ss      select  0xfffff80035d58e40 syslogd
    87566    1 87566    0  Ss      (threaded)                  ntpd
    100139                  S      select  0xfffff80003bdc340 ntpd
    76591    1 76156    0  S      select  0xfffff80003d319c0 vmtoolsd
    72195    1 72195    0  Ss      (threaded)                  sshlockout_pf
    100137                  S      nanslp  0xffffffff81f6de71 sshlockout_pf
    100094                  S      uwait    0xfffff80003bdfc80 sshlockout_pf
    67899 67666 67666    0  S      nanslp  0xffffffff81f6de72 minicron
    67666    1 67666    0  Ss      wait    0xfffff80035ce4000 minicron
    67427 67204 67204    0  S      nanslp  0xffffffff81f6de72 minicron
    67204    1 67204    0  Ss      wait    0xfffff80035d23980 minicron
    66650 66065 66065    0  S      nanslp  0xffffffff81f6de73 minicron
    66065    1 66065    0  Ss      wait    0xfffff80035c864c0 minicron
    64630    1 64630    0  Ss      nanslp  0xffffffff81f6de71 cron
    49759    1    22    0  S+      wait    0xfffff80003d354c0 sh
    44837 44829 44837    0  Ss      (threaded)                  charon
    100120                  S      uwait    0xfffff80035d58f00 charon
    100119                  S      uwait    0xfffff80035d59000 charon
    100118                  S      uwait    0xfffff80035d58b80 charon
    100117                  S      uwait    0xfffff80035d58c00 charon
    100116                  S      uwait    0xfffff80035d58800 charon
    100115                  S      uwait    0xfffff80035d58880 charon
    100114                  S      uwait    0xfffff80035d58480 charon
    100113                  S      uwait    0xfffff800358e1580 charon
    100112                  S      uwait    0xfffff80003d30a00 charon
    100111                  S      select  0xfffff80035d579c0 charon
    100110                  S      uwait    0xfffff80003d05100 charon
    100109                  S      uwait    0xfffff80003d05480 charon
    100108                  S      uwait    0xfffff80003d30800 charon
    100107                  S      select  0xfffff80035d57ac0 charon
    100106                  S      accept  0xfffff80003f215d6 charon
    100105                  S      uwait    0xfffff80003bb3d80 charon
    100071                  S      sigwait  0xfffff800356d8000 charon
    44829    1 44829    0  Ss      select  0xfffff800358e00c0 starter
    40283    1 40237    0  S      select  0xfffff80003d22f40 radvd
    38473    1 38239 65534  S      select  0xfffff800358e13c0 dnsmasq
    29386    1 29116    0  S      kqread  0xfffff80035736000 lighttpd
    25043 24717 24717    0  S      piperd  0xfffff80003d1d000 rrdtool
    24717    1 24717    0  Ss      select  0xfffff80003e27640 apinger
    19941    1 19941    0  Ss      select  0xfffff80003e270c0 inetd
    17870    1 17870    0  Ss      select  0xfffff80003b4eec0 openvpn
    17603    1 17603    0  Ss      bpf      0xfffff800350e6600 filterlog
    13181    1 13181    0  Ss      (threaded)                  sshlockout_pf
    100093                  S      nanslp  0xffffffff81f6de70 sshlockout_pf
    100079                  S      uwait    0xfffff80003d05c80 sshlockout_pf
    12887    1 12887    0  Ss      select  0xfffff80003bb1d40 sshd
      273    1  273    0  Ss      select  0xfffff80003b4f440 devd
      258  256  256    0  S      kqread  0xfffff80003bb7100 check_reload_status
      256    1  256    0  Ss      kqread  0xfffff80003d7cc00 check_reload_status
      240    1  240    0  Ss      kqread  0xfffff80003bb8300 php-fpm
      58    0    0    0  DL      mdwait  0xfffff80003b40800 [md0]
      21    0    0    0  DL      syncer  0xffffffff81fbee08 [syncer]
      20    0    0    0  DL      vlruwt  0xfffff80003b6b4c0 [vnlru]
      19    0    0    0  DL      (threaded)                  [bufdaemon]
    100069                  D      sdflush  0xfffff80003b234e8 [/ worker]
    100058                  D      psleep  0xffffffff81fbe004 [bufdaemon]
      18    0    0    0  DL      pgzero  0xffffffff82110d8c [pagezero]
      17    0    0    0  DL      pollid  0xffffffff81f6c7f0 [idlepoll]
      16    0    0    0  DL      psleep  0xffffffff821104c0 [vmdaemon]
        9    0    0    0  DL      psleep  0xffffffff8219c304 [pagedaemon]
        8    0    0    0  DL      waiting_ 0xffffffff8218cd70 [sctp_iterator]
        7    0    0    0  DL      pftm    0xffffffff80d0ad20 [pf purge]
        6    0    0    0  DL      -        0xfffff800035b7248 [fdc0]
        5    0    0    0  DL      idle    0xfffffe00009c2000 [mpt_recovery0]
        4    0    0    0  DL      (threaded)                  [cam]
    100053                  D      -        0xffffffff81ea69c0 [scanner]
    100033                  D      -        0xffffffff81ea6b80 [doneq0]
        3    0    0    0  DL      crypto_r 0xffffffff8210e990 [crypto returns]
        2    0    0    0  DL      crypto_w 0xffffffff8210e838 [crypto]
      15    0    0    0  DL      -        0xffffffff81ec4080 [rand_harvestq]
      14    0    0    0  DL      (threaded)                  [geom]
    100019                  D      -        0xffffffff82181470 [g_down]
    100018                  D      -        0xffffffff82181468 [g_up]
    100017                  D      -        0xffffffff82181460 [g_event]
      13    0    0    0  DL      (threaded)                  [ng_queue]
    100016                  D      sleep    0xffffffff81e64e98 [ng_queue3]
    100015                  D      sleep    0xffffffff81e64e98 [ng_queue2]
    100014                  D      sleep    0xffffffff81e64e98 [ng_queue1]
    100013                  D      sleep    0xffffffff81e64e98 [ng_queue0]
      12    0    0    0  WL      (threaded)                  [intr]
    100063                  I                                  [swi1: netisr 3]
    100062                  I                                  [swi1: netisr 2]
    100061                  I                                  [swi1: netisr 1]
    100051                  I                                  [swi1: pfsync]
    100049                  I                                  [swi1: pf send]
    100046                  I                                  [swi0: uart uart]
    100045                  I                                  [irq7: ppc0]
    100044                  I                                  [irq12: psm0]
    100043                  I                                  [irq1: atkbd0]
    100036                  I                                  [irq17: em3 mpt0]
    100035                  I                                  [irq15: ata1]
    100034                  I                                  [irq14: ata0]
    100031                  I                                  [swi5: fast taskq]
    100029                  I                                  [swi6: Giant taskq]
    100027                  I                                  [swi6: task queue]
    100012                  I                                  [swi3: vm]
    100011                  I                                  [swi4: clock]
    100010                  I                                  [swi4: clock]
    100009                  I                                  [swi4: clock]
    100008                  I                                  [swi4: clock]
    100007                  I                                  [swi1: netisr 0]
      11    0    0    0  RL      (threaded)                  [idle]
    100006                  Run    CPU 3                      [idle: cpu3]
    100005                  CanRun                              [idle: cpu2]
    100004                  Run    CPU 1                      [idle: cpu1]
    100003                  Run    CPU 0                      [idle: cpu0]
        1    0    1    0  SLs    wait    0xfffff8000324f4c0 [init]
      10    0    0    0  DL      audit_wo 0xffffffff821938f0 [audit]
        0    0    0    0  RLs    (threaded)                  [kernel]
    100097                  D      -        0xfffff800356da400 [dummynet]
    100052                  D      -        0xfffff80003272300 [CAM taskq]
    100042                  D      -        0xfffff80003533a00 [em4 taskq]
    100041                  D      -        0xfffff80003534100 [em3 taskq]
    100040                  Run    CPU 2                      [em2 taskq]
    100039                  D      -        0xfffff80003534d00 [em1 taskq]
    100038                  D      -        0xfffff80003535400 [em0 taskq]
    100032                  D      -        0xfffff80003272500 [kqueue taskq]
    100030                  D      -        0xfffff80003272a00



  • Maybe you have to clean install



  • sorry , I misspoke.

    the installation is clean.

    I just wanted to express the change of version



  • clean install

    1. zero fill/format/repartition your drive
    2. use USB flash drive as your isntaller (get the memstick version of pfsense and do install)


  • Rebel Alliance Developer Netgate

    Try a 2.2.5 snapshot from https://snapshots.pfsense.org

    Also: Is this a standalone unit or part of an HA cluster? What features are enabled?



  • is part of an HA cluster, is a backup firewall.

    is installed snort and openvmware-tools

    i´ll try the version 2.2.5

    thanks


  • Rebel Alliance Developer Netgate

    Could be https://redmine.pfsense.org/issues/4310 if the backup crashes. Try disabling pfsync to see if it stays up. If so, consider disabling limiters or leave pfsync off.



  • thanks jimp.

    this is fixed in 2.2.5?


  • Rebel Alliance Developer Netgate

    The bug is still open with a target of 2.3, so no.



  • thanks



  • really the problem was the limiters.

    i disable the limiters and the backup firewall not failed again.

    Hopefully this problem will be resolved in the release 2.3

    thanks for the efforts


Log in to reply