Navigation

    Netgate Discussion Forum
    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Search

    Repeated crashs randomly… What steps do I take to diagnose crash logs?

    General pfSense Questions
    4
    7
    817
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • B
      burnsl last edited by

      I haven't had problems with crashes for years, and over many version of PFsense.

      However, lately I have had 3 crashes, at seemingly random times.

      It's becoming a problem, so I will post the dump below, however I don't know what I should do with this information to diagnose the issue.

      Crash report begins.  Anonymous machine information:

      i386
      8.3-RELEASE-p16
      FreeBSD 8.3-RELEASE-p16 #0: Mon Aug 25 08:25:41 EDT 2014    root@pf2_1_1_i386.pfsense.org:/usr/obj.i386/usr/pfSensesrc/src/sys/pfSense_SMP.8

      Crash report details:

      Filename: /var/crash/bounds
      1

      Filename: /var/crash/info.0
      Dump header from device /dev/da0s1b
        Architecture: i386
        Architecture Version: 1
        Dump Length: 80384B (0 MB)
        Blocksize: 512
        Dumptime: Fri Jan  9 11:31:01 2015
        Hostname: firewall.sds.local
        Magic: FreeBSD Text Dump
        Version String: FreeBSD 8.3-RELEASE-p16 #0: Mon Aug 25 08:25:41 EDT 2014
          root@pf2_1_1_i386.pfsense.org:/usr/obj.i386/usr/pfSensesrc/src/sys/pfSense_SMP.8
        Panic String: double fault
        Dump Parity: 607255553
        Bounds: 0
        Dump Status: good

      Filename: /var/crash/textdump.tar.0
      ddb.txt���������������������������������������������������������������������������������������������0600����0�������0�������140000������12454001105�  7062� �����������������������������������������������������������������������������������������������������ustar���root����������������������������wheel������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������db:0:kdb.enter.default>  run lockinfo
      db:1:lockinfo> show locks
      No such command
      db:1:locks>  show alllocks
      No such command
      db:1:alllocks>  show lockedvnods
      Locked vnodes
      db:0:kdb.enter.default>  show pcpu
      cpuid        = 2
      dynamic pcpu = 0x6067700
      curthread    = 0xc79945c0: pid 11 "idle: cpu2"
      curpcb      = 0xc75a6d80
      fpcurthread  = none
      idlethread  = 0xc79945c0: tid 100004 "idle: cpu2"
      APIC ID      = 6
      currentldt  = 0x50
      db:0:kdb.enter.default>  bt
      Tracing pid 11 tid 100004 td 0xc79945c0
      kdb_enter(c0f98d73,c0f98d73,c0fccc1e,c15d02f0,2,…) at kdb_enter+0x3b
      panic(c0fccc1e,6,6,0,0,...) at panic+0x102
      dblfault_handler() at dblfault_handler+0x9b
      --- trap 0x17, eip = 0xc0e750d8, esp = 0xc75a6000, ebp = 0xc75a6c7c ---
      Xpage(c75a6c98,c151f8b0,2,0,ffffffff,...) at Xpage
      acpi_cpu_idle(1,c75a6ccc,c0f99f18,a08,c79945c0,...) at acpi_cpu_idle+0x1e1
      sched_idletd(0,c75a6d28,0,0,0,...) at sched_idletd+0x116
      fork_exit(c0ac8fb0,0,c75a6d28) at fork_exit+0x87
      fork_trampoline() at fork_trampoline+0x8
      --- trap 0, eip = 0, esp = 0xc75a6d60, ebp = 0 ---
      db:0:kdb.enter.default>  ps
        pid  ppid  pgrp  uid  state  wmesg    wchan    cmd
      34780 57442    28    0  RE      CPU 3              sh
      64014 62780 62780    0  S      nanslp  0xc15571c4 sleep
      62780 62064 62780    0  Ss      wait    0xc97b8000 sh
      62064 62712 62712    0  S      piperd  0xc9c38930 cron
      68699    1 68451  558  S      select  0xc97671a4 avahi-daemon
      68223    1 68223  556  Ss      select  0xc8e124e4 dbus-daemon
      51878    1 51878    0  Ss      (threaded)          ntpd
      100228                  S      select  0xc94e3964 ntpd
      43385    1 43385    0  Ss      select  0xc7feb024 openvpn
      28660 68109 68109    0  S      (threaded)          php
      100167                  S      accept  0xc904d1da php
      21915 62070 21915    0  Ss      (threaded)          sshlockout_pf
      100293                  S      nanslp  0xc15571c4 sshlockout_pf
      100113                  S      piperd  0xc8912620 initial thread
      21384    1 21384    0  Ss+    ttyin    0xc7c81670 getty
      15839 15767 15767    0  S      nanslp  0xc15571c4 minicron
      15767    1 15767    0  Ss      wait    0xc95bb2b0 minicron
      15511 15117 15117    0  S      nanslp  0xc15571c4 minicron
      15117    1 15117    0  Ss      wait    0xc8917ac0 minicron
      14983 14655 14655    0  S      nanslp  0xc15571c4 minicron
      14655    1 14655    0  Ss      wait    0xc95ba810 minicron
      62712    1 62712    0  Ss      nanslp  0xc15571c4 cron
      62070    1 62070    0  Ss      select  0xc8e129e4 syslogd
      59396    1 59396    0  Ss      select  0xc9460824 powerd
      57442    1    28    0  S+      wait    0xc9517810 sh
      31758 28859 28859    0  S      accept  0xc904eb82 php
      31424 28859 28859    0  S      accept  0xc904eb82 php
      31136 28859 28859    0  S      accept  0xc904eb82 php
      30868 27621 27621    0  S      accept  0xc945f03e php
      30581 27621 27621    0  S      accept  0xc945f03e php
      30276 27621 27621    0  S      accept  0xc945f03e php
      29455 23730 23730    0  S      accept  0xc91889e6 php
      29383 23730 23730    0  S      accept  0xc91889e6 php
      29094 23730 23730    0  S      accept  0xc91889e6 php
      28859 19940 28859    0  Ss      wait    0xc8915ac0 initial thread
      27896 21757 21757    0  S      accept  0xc9188512 php
      27861 21757 21757    0  S      accept  0xc9188512 php
      27790 21757 21757    0  S      accept  0xc9188512 php
      27621 20453 27621    0  Ss      wait    0xc80512b0 initial thread
      24236 21299 21299    0  S      accept  0xc9525512 php
      24215 21299 21299    0  S      accept  0xc9525512 php
      23912 21299 21299    0  S      accept  0xc9525512 php
      23730 19940 23730    0  Ss      wait    0xc8915000 initial thread
      22346 22084 22084    0  S      nanslp  0xc15571c4 minicron
      22084    1 22084    0  Ss      wait    0xc88652b0 minicron
      21757 20453 21757    0  Ss      wait    0xc889a560 initial thread
      21299 19940 21299    0  Ss      wait    0xc80272b0 initial thread
      21003 20273 20273    0  S      accept  0xc91a7376 php
      20672 20273 20273    0  S      accept  0xc91a7376 php
      20627 20273 20273    0  S      accept  0xc91a7376 php
      20453    1 20332    0  S      kqread  0xc9116680 lighttpd
      20273 19940 20273    0  Ss      wait    0xc8053810 initial thread
      19940    1 19693    0  S      kqread  0xc9438680 lighttpd
      69913    1 69913  1002  Ss      select  0xc7ca0864 dhcpd
      69616    1 69529 65534  S      select  0xc8e126a4 dnsmasq
      68445 60206 60206    0  S      accept  0xc894a03e php
      68109 59862 68109    0  Ss      wait    0xc8053560 initial thread
      61605    1 61605    0  Ss      kqread  0xc9c8f700 dhcpleases
      60206 59862 60206    0  Ss      wait    0xc8899560 initial thread
      59862    1 59528    0  S      kqread  0xc8cc6280 lighttpd
      43526 43473 43473    0  S      piperd  0xc889eab8 rrdtool
      43473    1 43473    0  Ss      select  0xc7fc6de4 apinger
      38516    1 38516    0  Ss      select  0xc891be24 inetd
      34388    1    28    0  S+      piperd  0xc8050000 logger
      34051    1    28    0  S+      bpf      0xc9051400 tcpdump
      21790    1 21790    0  Ss      (threaded)          mpd5
      100160                  S      select  0xc8e121a4 mpd5
      18818    1 18818    65  Ss      select  0xc7f9e324 dhclient
      10474    1 10474    0  Ss      select  0xc7f42924 dhclient
      10266    1 10266    0  Ss      (threaded)          sshlockout_pf
      100159                  S      nanslp  0xc15571c4 sshlockout_pf
      100143                  S      uwait    0xc7fc5d40 initial thread
      9984    1  9984    0  Ss      select  0xc891b7a4 sshd
        273    1  273    0  Ss      select  0xc7fc6164 devd
        264  262  262    0  S      kqread  0xc79dd000 check_reload_status
        262    1  262    0  Ss      kqread  0xc7fa4200 check_reload_status
        69    0    0    0  SL      mdwait  0xc7f54000 [md0]
        40    0    0    0  SL      (threaded)          zfskern
      100093                  D      l2arc_fe 0xc81e1b04 [l2arc_feed_thread]
      100092                  D      arc_recl 0xc81d297c [arc_reclaim_thread]
        27    0    0    0  SL      sdflush  0xc1585b60 [softdepflush]
        26    0    0    0  SL      vlruwt  0xc7f7b000 [vnlru]
        25    0    0    0  SL      syncer  0xc156af38 [syncer]
        24    0    0    0  SL      psleep  0xc156ac68 [bufdaemon]
        23    0    0    0  SL      pollid  0xc15566fc [idlepoll]
        22    0    0    0  SL      pgzero  0xc1586814 [pagezero]
        21    0    0    0  SL      psleep  0xc158643c [vmdaemon]
        20    0    0    0  SL      psleep  0xc1586404 [pagedaemon]
        19    0    0    0  SL      ccb_scan 0xc151f5d4 [xpt_thrd]
        18    0    0    0  SL      pftm    0xc050c700 [pfpurge]
          9    0    0    0  SL      waiting_ 0xc1572338 [sctp_iterator]
          8    0    0    0  SL      -        0xc7c8183c [fdc0]
        17    0    0    0  SL      cooling  0xc7c630d4 [acpi_cooling0]
        16    0    0    0  SL      tzpoll  0xc152462c [acpi_thermal]
        15    0    0    0  SL      (threaded)          usb
      100057                  D      -        0xc7c4dd34 [usbus2]
      100056                  D      -        0xc7c4dd04 [usbus2]
      100055                  D      -        0xc7c4dcd4 [usbus2]
      100054                  D      -        0xc7c4dca4 [usbus2]
      100052                  D      -        0xc7c32dac [usbus1]
      100051                  D      -        0xc7c32d7c [usbus1]
      100050                  D      -        0xc7c32d4c [usbus1]
      100049                  D      -        0xc7c32d1c [usbus1]
      100047                  D      -        0xc7c1fdac [usbus0]
      100046                  D      -        0xc7c1fd7c [usbus0]
      100045                  D      -        0xc7c1fd4c [usbus0]
      100044                  D      -        0xc7c1fd1c [usbus0]
          7    0    0    0  SL      idle    0xc7c00084 [ciss_notify0]
        14    0    0    0  SL      -        0xc1557024 [yarrow]
          6    0    0    0  SL      crypto_r 0xc158510c [crypto returns]
          5    0    0    0  SL      crypto_w 0xc15850e8 [crypto]
          4    0    0    0  SL      -        0xc15547e4 [g_down]
          3    0    0    0  SL      -        0xc15547e0 [g_up]
          2    0    0    0  SL      -        0xc15547d8 [g_event]
        13    0    0    0  SL      (threaded)          ng_queue
      100016                  D      sleep    0xc14f2fa0 [ng_queue3]
      100015                  D      sleep    0xc14f2fa0 [ng_queue2]
      100014                  D      sleep    0xc14f2fa0 [ng_queue1]
      100013                  D      sleep    0xc14f2fa0 [ng_queue0]
        12    0    0    0  WL      (threaded)          intr
      100079                  I                          [swi1: netisr 1]
      100078                  I                          [swi1: netisr 2]
      100077                  I                          [swi1: netisr 3]
      100064                  I                          [swi0: uart uart]
      100063                  I                          [irq12: psm0]
      100062                  I                          [irq1: atkbd0]
      100059                  I                          [irq15: ata1]
      100058                  I                          [irq14: ata0]
      100053                  I                          [irq23: ehci0]
      100048                  I                          [irq19: uhci1]
      100043                  I                          [irq16: uhci0]
      100042                  I                          [irq26: bge1]
      100041                  I                          [irq25: bge0]
      100039                  I                          [irq24: ciss0]
      100034                  I                          [irq9: acpi0]
      100033                  I                          [swi6: Giant taskq]
      100031                  I                          [swi5: +]
      100028                  I                          [swi2: cambio]
      100024                  I                          [swi6: task queue]
      100012                  I                          [swi3: vm]
      100011                  I                          [swi4: clock]
      100010                  I                          [swi4: clock]
      100009                  I                          [swi4: clock]
      100008                  I                          [swi4: clock]
      100007                  I                          [swi1: netisr 0]
        11    0    0    0  RL      (threaded)          idle
      100006                  Run    CPU 0              [idle: cpu0]
      100005                  Run    CPU 1              [idle: cpu1]
      100004                  Run    CPU 2              [idle: cpu2]
      100003                  CanRun                      [idle: cpu3]
          1    0    1    0  SLs    wait    0xc7992ac0 [init]
        10    0    0    0  SL      audit_wo 0xc1585500 [audit]
          0    0    0    0  RLs    (threaded)          kernel
      100180                  RunQ                        [dummynet]
      100091                  D      -        0xc7f42280 [system_taskq_3]
      100090                  D      -        0xc7f42280 [system_taskq_2]
      100089                  D      -        0xc7f42280 [system_taskq_1]
      100088                  D      -        0xc7f42280 [system_taskq_0]
      100038                  D      -        0xc7be2700 [em3 taskq]
      100037                  D      -        0xc7bd3b40 [em2 taskq]
      100036                  D      -        0xc7bbf800 [em1 taskq]
      100035                  D      -        0xc7bb5d40 [em0 taskq]
      100032                  D      -        0xc7b68d00

      1 Reply Last reply Reply Quote 0
      • A
        Alixy last edited by

        What did you end up doing to diagnose this?

        I'm experiencing similar crashes roughly hourly:

        
        $ grep 'Starting all' serial_console.log
        Aug  8 22:51:03 php-fpm[5457]: /rc.start_packages: Restarting/Starting all packages.
        Aug  8 23:07:28 php-fpm[6437]: /rc.start_packages: Restarting/Starting all packages.
        Aug  9 00:28:44 php-fpm[78164]: /rc.start_packages: Restarting/Starting all packages.
        Aug  9 01:33:37 php-fpm[6001]: /rc.start_packages: Restarting/Starting all packages.
        Aug  9 01:49:05 php-fpm[75297]: /rc.start_packages: Restarting/Starting all packages.
        $
        
        

        and I'm about to post a question about it, but since yours happened 8 months ago (and no one responded, but I don't see anything in your post history about what you did to resolve it), I thought I'd ask if you recall what you did to investigate it (I'm very familiar with debian and very unfamiliar with bsd).

        Thanks

        1 Reply Last reply Reply Quote 0
        • B
          burnsl last edited by

          Post your question as a new post.
          I never got to the bottom of this and it seems to have stopped on it's own.

          However, I have also upgraded twice since this.

          1 Reply Last reply Reply Quote 0
          • C
            charliem last edited by

            @burnsl:

            I never got to the bottom of this and it seems to have stopped on it's own.

            However, I have also upgraded twice since this.

            This is almost always a confirmation that hardware was going bad; glad you found it.

            1 Reply Last reply Reply Quote 0
            • B
              burnsl last edited by

              No hardware issues at all here.

              I never got to the bottom of it.  It remains a mystery.

              1 Reply Last reply Reply Quote 0
              • F
                firewalluser last edited by

                Any use?

                https://forum.pfsense.org/index.php?topic=97347.msg542182#msg542182

                https://forum.pfsense.org/index.php?topic=95928.msg542034#msg542034

                Have you got any syslogs or traffic logs to see what was going on before the crashes, as theres so many possibilities for "random" crashes.

                1 Reply Last reply Reply Quote 0
                • B
                  burnsl last edited by

                  I appreciate the links, but I really am not working this any longer.

                  This thread was several months old when someone revived it.

                  1 Reply Last reply Reply Quote 0
                  • First post
                    Last post

                  Products

                  • Platform Overview
                  • TNSR
                  • pfSense Plus
                  • Appliances

                  Services

                  • Training
                  • Professional Services

                  Support

                  • Subscription Plans
                  • Contact Support
                  • Product Lifecycle
                  • Documentation

                  News

                  • Media Coverage
                  • Press
                  • Events

                  Resources

                  • Blog
                  • FAQ
                  • Find a Partner
                  • Resource Library
                  • Security Information

                  Company

                  • About Us
                  • Careers
                  • Partners
                  • Contact Us
                  • Legal
                  Our Mission

                  We provide leading-edge network security at a fair price - regardless of organizational size or network sophistication. We believe that an open-source security model offers disruptive pricing along with the agility required to quickly address emerging threats.

                  Subscribe to our Newsletter

                  Product information, software announcements, and special offers. See our newsletter archive to sign up for future newsletters and to read past announcements.

                  © 2021 Rubicon Communications, LLC | Privacy Policy