STRANGE BEHAVIOUR ON 1000 MB Ethernet NICS



  • Hi,

    I have a pfsense box running three network cards. When i plug the network card to a gigabit port it starts changing state and
    suddenly stops routing traffic,  a manual ifconfig down/up is needed to fix it. I already changed cables (It is using factory made patchcords,
    tested with Fluke's DTX18000 device and directly connected to the switch), it started with a TRENDNET 10/100/1000 48 port switch so we changed it to a DLINK 10/10048 + 21000 and the results are the same. If we use 100 Mbits ports we don't experience any problems, it only happens in the gigabit ports.

    We also disabled ACPI with no success.

    The link state changes are random and in average it happens 3-6 times a day.

    I hope you can help me, thanks in advance.

    NIC information:

    <marvell semiconductor,="" inc.="" yukon="">sk0
    sk0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
            options=b <rxcsum,txcsum,vlan_mtu>ether 00:26:5a:44:44:44
            inet6 fe80::226:4444:4444:4444%sk0 prefixlen 64 scopeid 0x2
            inet 192.168.200.1 netmask 0xffffffff broadcast 192.168.200.1
            media: Ethernet autoselect (1000baseTX <full-duplex>)
            status: active

    hardware:

    sysctl -a | egrep -i 'hw.machine|hw.model|hw.ncpu'

    hw.machine: i386
    hw.model: Intel(R) Core(TM)2 Duo CPU    E7500  @ 2.93GHz
    hw.ncpu: 2
    hw.machine_arch: i386

    sysctl -a | grep mem

    vm.kmem_size_scale: 3
    vm.kmem_size_max: 535544320
    vm.kmem_size_min: 0
    vm.kmem_size: 435544320
    vfs.ufs.dirhash_mem: 522300
    vfs.ufs.dirhash_maxmem: 2097152
    net.link.bridge.pfil_member: 1
    debug.fwmem_debug: 0
    hw.physmem: 2094718976
    hw.usermem: 1978253312
    hw.realmem: 2110783488
    hw.firewire.fwmem.speed: 2
    hw.firewire.fwmem.eui64_lo: 0
    hw.firewire.fwmem.eui64_hi: 0
    hw.cbb.start_memory: 2281701376
    hw.pci.host_mem_start: 2147483648
    p1003_1b.memlock: 0
    p1003_1b.memlock_range: 0
    p1003_1b.memory_protection: 0
    p1003_1b.shared_memory_objects: 1

    some system.log info:

    Nov  5 13:47:05 poseidon kernel: sk0: link state changed to DOWN                                                                           
    Nov  5 13:47:05 poseidon kernel: vlan9: link state changed to DOWN                                                                         
    Nov  5 13:47:05 poseidon kernel: vlan7: link state changed to DOWN                                                                         
    Nov  5 13:47:05 poseidon kernel: vlan8: link state changed to DOWN                                                                         
    Nov  5 13:47:05 poseidon kernel: vlan5: link state changed to DOWN                                                                         
    Nov  5 13:47:05 poseidon kernel: vlan6: link state changed to DOWN                                                                         
    Nov  5 13:47:05 poseidon kernel: sk0: link state changed to UP                                                                             
    Nov  5 13:47:05 poseidon kernel: vlan9: link state changed to UP                                                                           
    Nov  5 13:47:05 poseidon kernel: vlan7: link state changed to UP                                                                           
    Nov  5 13:47:05 poseidon kernel: vlan8: link state changed to UP                                                                           
    Nov  5 13:47:05 poseidon kernel: vlan5: link state changed to UP                                                                           
    Nov  5 13:47:05 poseidon kernel: vlan6: link state changed to UP                                                                           
    Nov  5 13:47:06 poseidon check_reload_status: rc.linkup starting                                                                           
    Nov  5 13:47:06 poseidon php: : Processing sk0 - start                                                                                     
    Nov  5 13:47:06 poseidon php: : Processing start - vlan9                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing vlan9 - start                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing start - vlan7                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing vlan7 - start                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing start - vlan8                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing vlan8 - start                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing start - vlan5                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing vlan5 - start                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing start - vlan6                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing vlan6 - start                                                                                   
    Nov  5 13:47:06 poseidon php: : Processing start -                                                                                         
    Nov  5 13:47:06 poseidon php: : Processing  -                                                                                             
    Nov  5 15:34:43 poseidon kernel: pid 60213 (squidGuard), uid 62: exited on signal 6                                                       
    Nov  5 15:35:16 poseidon kernel: pid 60214 (squidGuard), uid 62: exited on signal 6                                                       
    Nov  5 15:35:51 poseidon kernel: pid 60215 (squidGuard), uid 62: exited on signal 6                                                       
    Nov  5 16:23:09 poseidon kernel: sk0: link state changed to DOWN                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: sk0: link state changed to UP                                                                             
    Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: sk0: link state changed to DOWN                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to DOWN                                                                         
    Nov  5 16:23:09 poseidon kernel: sk0: link state changed to UP                                                                             
    Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to UP                                                                           
    Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to UP                                                                           
    Nov  5 16:23:10 poseidon check_reload_status: rc.linkup starting                                                                           
    Nov  5 16:23:10 poseidon php: : Processing sk0 - start                                                                                     
    Nov  5 16:23:10 poseidon php: : Processing start - vlan9                                                                                   
    Nov  5 16:23:10 poseidon php: : Processing vlan9 - start                                                                                   
    Nov  5 16:23:10 poseidon php: : Processing start - vlan7                                                                                   
    Nov  5 16:23:10 poseidon php: : Processing vlan7 - start                                                                                   
    Nov  5 16:23:11 poseidon php: : Processing start - vlan8                                                                                   
    Nov  5 16:23:11 poseidon php: : Processing vlan8 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan5
    Nov  5 16:23:11 poseidon php: : Processing vlan5 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan6
    Nov  5 16:23:11 poseidon php: : Processing vlan6 - start
    Nov  5 16:23:11 poseidon php: : Processing start - sk0
    Nov  5 16:23:11 poseidon php: : Processing sk0 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan9
    Nov  5 16:23:11 poseidon php: : Processing vlan9 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan7
    Nov  5 16:23:11 poseidon php: : Processing vlan7 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan8
    Nov  5 16:23:11 poseidon php: : Processing vlan8 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan5
    Nov  5 16:23:11 poseidon php: : Processing vlan5 - start
    Nov  5 16:23:11 poseidon php: : Processing start - vlan6
    Nov  5 16:23:11 poseidon php: : Processing vlan6 - start
    Nov  5 16:23:11 poseidon php: : Processing start -
    Nov  5 16:23:11 poseidon php: : Processing  -</full-duplex></rxcsum,txcsum,vlan_mtu></up,broadcast,running,simplex,multicast></marvell>



  • How big load is on these interfaces? Did You read this?
    http://forum.pfsense.org/index.php/topic,29797.0.html


Log in to reply