STRANGE BEHAVIOUR ON 1000 MB Ethernet NICS

[cceballos]

Hi,

I have a pfsense box running three network cards. When i plug the network card to a gigabit port it starts changing state and
suddenly stops routing traffic,  a manual ifconfig down/up is needed to fix it. I already changed cables (It is using factory made patchcords,
tested with Fluke's DTX18000 device and directly connected to the switch), it started with a TRENDNET 10/100/1000 48 port switch so we changed it to a DLINK 10/10048 + 21000 and the results are the same. If we use 100 Mbits ports we don't experience any problems, it only happens in the gigabit ports.

We also disabled ACPI with no success.

The link state changes are random and in average it happens 3-6 times a day.

I hope you can help me, thanks in advance.

NIC information:

<marvell semiconductor,="" inc.="" yukon="">sk0
sk0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=b <rxcsum,txcsum,vlan_mtu>ether 00:26:5a:44:44:44
        inet6 fe80::226:4444:4444:4444%sk0 prefixlen 64 scopeid 0x2
        inet 192.168.200.1 netmask 0xffffffff broadcast 192.168.200.1
        media: Ethernet autoselect (1000baseTX <full-duplex>)
        status: active

hardware:

sysctl -a | egrep -i 'hw.machine|hw.model|hw.ncpu'

hw.machine: i386
hw.model: Intel(R) Core(TM)2 Duo CPU    E7500  @ 2.93GHz
hw.ncpu: 2
hw.machine_arch: i386

sysctl -a | grep mem

vm.kmem_size_scale: 3
vm.kmem_size_max: 535544320
vm.kmem_size_min: 0
vm.kmem_size: 435544320
vfs.ufs.dirhash_mem: 522300
vfs.ufs.dirhash_maxmem: 2097152
net.link.bridge.pfil_member: 1
debug.fwmem_debug: 0
hw.physmem: 2094718976
hw.usermem: 1978253312
hw.realmem: 2110783488
hw.firewire.fwmem.speed: 2
hw.firewire.fwmem.eui64_lo: 0
hw.firewire.fwmem.eui64_hi: 0
hw.cbb.start_memory: 2281701376
hw.pci.host_mem_start: 2147483648
p1003_1b.memlock: 0
p1003_1b.memlock_range: 0
p1003_1b.memory_protection: 0
p1003_1b.shared_memory_objects: 1

some system.log info:

Nov  5 13:47:05 poseidon kernel: sk0: link state changed to DOWN                                                                           
Nov  5 13:47:05 poseidon kernel: vlan9: link state changed to DOWN                                                                         
Nov  5 13:47:05 poseidon kernel: vlan7: link state changed to DOWN                                                                         
Nov  5 13:47:05 poseidon kernel: vlan8: link state changed to DOWN                                                                         
Nov  5 13:47:05 poseidon kernel: vlan5: link state changed to DOWN                                                                         
Nov  5 13:47:05 poseidon kernel: vlan6: link state changed to DOWN                                                                         
Nov  5 13:47:05 poseidon kernel: sk0: link state changed to UP                                                                             
Nov  5 13:47:05 poseidon kernel: vlan9: link state changed to UP                                                                           
Nov  5 13:47:05 poseidon kernel: vlan7: link state changed to UP                                                                           
Nov  5 13:47:05 poseidon kernel: vlan8: link state changed to UP                                                                           
Nov  5 13:47:05 poseidon kernel: vlan5: link state changed to UP                                                                           
Nov  5 13:47:05 poseidon kernel: vlan6: link state changed to UP                                                                           
Nov  5 13:47:06 poseidon check_reload_status: rc.linkup starting                                                                           
Nov  5 13:47:06 poseidon php: : Processing sk0 - start                                                                                     
Nov  5 13:47:06 poseidon php: : Processing start - vlan9                                                                                   
Nov  5 13:47:06 poseidon php: : Processing vlan9 - start                                                                                   
Nov  5 13:47:06 poseidon php: : Processing start - vlan7                                                                                   
Nov  5 13:47:06 poseidon php: : Processing vlan7 - start                                                                                   
Nov  5 13:47:06 poseidon php: : Processing start - vlan8                                                                                   
Nov  5 13:47:06 poseidon php: : Processing vlan8 - start                                                                                   
Nov  5 13:47:06 poseidon php: : Processing start - vlan5                                                                                   
Nov  5 13:47:06 poseidon php: : Processing vlan5 - start                                                                                   
Nov  5 13:47:06 poseidon php: : Processing start - vlan6                                                                                   
Nov  5 13:47:06 poseidon php: : Processing vlan6 - start                                                                                   
Nov  5 13:47:06 poseidon php: : Processing start -                                                                                         
Nov  5 13:47:06 poseidon php: : Processing  -                                                                                             
Nov  5 15:34:43 poseidon kernel: pid 60213 (squidGuard), uid 62: exited on signal 6                                                       
Nov  5 15:35:16 poseidon kernel: pid 60214 (squidGuard), uid 62: exited on signal 6                                                       
Nov  5 15:35:51 poseidon kernel: pid 60215 (squidGuard), uid 62: exited on signal 6                                                       
Nov  5 16:23:09 poseidon kernel: sk0: link state changed to DOWN                                                                           
Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: sk0: link state changed to UP                                                                             
Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: sk0: link state changed to DOWN                                                                           
Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to DOWN                                                                         
Nov  5 16:23:09 poseidon kernel: sk0: link state changed to UP                                                                             
Nov  5 16:23:09 poseidon kernel: vlan9: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan7: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan8: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan5: link state changed to UP                                                                           
Nov  5 16:23:09 poseidon kernel: vlan6: link state changed to UP                                                                           
Nov  5 16:23:10 poseidon check_reload_status: rc.linkup starting                                                                           
Nov  5 16:23:10 poseidon php: : Processing sk0 - start                                                                                     
Nov  5 16:23:10 poseidon php: : Processing start - vlan9                                                                                   
Nov  5 16:23:10 poseidon php: : Processing vlan9 - start                                                                                   
Nov  5 16:23:10 poseidon php: : Processing start - vlan7                                                                                   
Nov  5 16:23:10 poseidon php: : Processing vlan7 - start                                                                                   
Nov  5 16:23:11 poseidon php: : Processing start - vlan8                                                                                   
Nov  5 16:23:11 poseidon php: : Processing vlan8 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan5
Nov  5 16:23:11 poseidon php: : Processing vlan5 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan6
Nov  5 16:23:11 poseidon php: : Processing vlan6 - start
Nov  5 16:23:11 poseidon php: : Processing start - sk0
Nov  5 16:23:11 poseidon php: : Processing sk0 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan9
Nov  5 16:23:11 poseidon php: : Processing vlan9 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan7
Nov  5 16:23:11 poseidon php: : Processing vlan7 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan8
Nov  5 16:23:11 poseidon php: : Processing vlan8 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan5
Nov  5 16:23:11 poseidon php: : Processing vlan5 - start
Nov  5 16:23:11 poseidon php: : Processing start - vlan6
Nov  5 16:23:11 poseidon php: : Processing vlan6 - start
Nov  5 16:23:11 poseidon php: : Processing start -
Nov  5 16:23:11 poseidon php: : Processing  -</full-duplex></rxcsum,txcsum,vlan_mtu></up,broadcast,running,simplex,multicast></marvell>

[toomeek]

How big load is on these interfaces? Did You read this?
http://forum.pfsense.org/index.php/topic,29797.0.html