Connectie van WAN valt zo nu en dan weg



  • Eén keer in de zoveel tijd valt de wan connectie uit en komt dan ook niet meer online. Heel vervelend want er moet op afstand een hard reset gedaan worden van het systeem om hem weer online te krijgen.

    Het lijkt erop dat de WAN verbinding eventjes weg valt, maar PfSense 2.1.1 niet in de mogelijkheid is de wan weer up te krijgen.

    Een deel van de log (waar het mis gaat) ziet er al volgt uit:

    Jun  6 13:48:04 dmnlocal check_reload_status: Linkup starting bge0
    Jun  6 13:48:04 dmnlocal kernel: bge0: link state changed to DOWN
    Jun  6 13:48:04 dmnlocal kernel: bge0: link state changed to UP
    Jun  6 13:48:04 dmnlocal check_reload_status: Linkup starting bge0
    Jun  6 13:48:07 dmnlocal php: rc.linkup: DEVD Ethernet detached event for wan
    Jun  6 13:48:07 dmnlocal php: rc.linkup: DEVD Ethernet attached event for wan
    Jun  6 13:48:07 dmnlocal php: rc.linkup: HOTPLUG: Configuring interface wan
    Jun  6 13:48:07 dmnlocal dhclient[10041]: connection closed
    Jun  6 13:48:07 dmnlocal dhclient[10041]: exiting.
    Jun  6 13:48:07 dmnlocal dhclient: PREINIT
    Jun  6 13:48:07 dmnlocal dhclient: Starting delete_old_states()
    Jun  6 13:48:07 dmnlocal dhclient: Comparing IPs: Old:  New: 
    Jun  6 13:48:07 dmnlocal dhclient[83075]: DHCPREQUEST on bge0 to 255.255.255.255 port 67
    Jun  6 13:48:07 dmnlocal dhclient[83075]: DHCPACK from 192.168.0.1
    Jun  6 13:48:07 dmnlocal dhclient: REBOOT
    Jun  6 13:48:07 dmnlocal dhclient: Starting delete_old_states()
    Jun  6 13:48:07 dmnlocal dhclient: Comparing IPs: Old:  New: 192.168.0.3
    Jun  6 13:48:07 dmnlocal dhclient: Starting add_new_address()
    Jun  6 13:48:07 dmnlocal dhclient: ifconfig bge0 inet 192.168.0.3 netmask 255.255.255.0 broadcast 192.168.0.255 
    Jun  6 13:48:07 dmnlocal dhclient: New IP Address (bge0): 192.168.0.3
    Jun  6 13:48:07 dmnlocal dhclient: New Subnet Mask (bge0): 255.255.255.0
    Jun  6 13:48:07 dmnlocal dhclient: New Broadcast Address (bge0): 192.168.0.255
    Jun  6 13:48:07 dmnlocal dhclient: New Routers (bge0): 192.168.0.1
    Jun  6 13:48:07 dmnlocal dhclient: Adding new routes to interface: bge0
    Jun  6 13:48:07 dmnlocal dhclient: /sbin/route add default 192.168.0.1
    Jun  6 13:48:07 dmnlocal dhclient: Creating resolv.conf
    Jun  6 13:48:07 dmnlocal check_reload_status: rc.newwanip starting bge0
    Jun  6 13:48:07 dmnlocal dhclient[83075]: bound to 192.168.0.3 -- renewal in 2147483647 seconds.
    Jun  6 13:48:07 dmnlocal php: rc.linkup: ROUTING: setting default route to 192.168.0.1
    Jun  6 13:48:08 dmnlocal php: rc.linkup: Clearing states to old gateway 192.168.0.1.
    Jun  6 13:48:09 dmnlocal dnsmasq[41154]: exiting on receipt of SIGTERM
    Jun  6 13:48:09 dmnlocal ntpd[85576]: Deleting interface #2 bge0, 192.168.0.3#123, interface stats: received=98, sent=98, dropped=0, active_time=19233 secs
    Jun  6 13:48:09 dmnlocal ntpd[85576]: xx.xxx.248.10 local addr 192.168.0.3 -> <null>
    Jun  6 13:48:09 dmnlocal php: rc.newwanip: rc.newwanip: Informational is starting bge0.
    Jun  6 13:48:09 dmnlocal php: rc.newwanip: rc.newwanip: on (IP address: ) (interface: wan) (real interface: bge0).
    Jun  6 13:48:09 dmnlocal php: rc.newwanip: rc.newwanip: Failed to update wan IP, restarting...
    Jun  6 13:48:09 dmnlocal check_reload_status: Configuring interface wan
    Jun  6 13:48:10 dmnlocal dnsmasq[92442]: started, version 2.68 cachesize 10000
    Jun  6 13:48:10 dmnlocal dnsmasq[92442]: compile time options: IPv6 GNU-getopt no-DBus i18n IDN DHCP DHCPv6 no-Lua TFTP no-conntrack no-ipset auth
    Jun  6 13:48:10 dmnlocal dnsmasq[92442]: reading /etc/resolv.conf
    Jun  6 13:48:10 dmnlocal dnsmasq[92442]: using nameserver 192.168.0.1#53
    Jun  6 13:48:10 dmnlocal dnsmasq[92442]: ignoring nameserver 127.0.0.1 - local interface
    Jun  6 13:48:10 dmnlocal dnsmasq[92442]: read /etc/hosts - 2 addresses
    Jun  6 13:48:10 dmnlocal dhcpd: Received signal 15, initiating shutdown.
    Jun  6 13:48:10 dmnlocal dhcpd: Disabling output on BPF/bge1/88:51:fb:xx:xx:69/192.168.11.0/24
    Jun  6 13:48:10 dmnlocal dhcpd: Disabling input on BPF/bge1/88:51:fb:xx:xx:69/192.168.11.0/24
    Jun  6 13:48:11 dmnlocal dhcpd: Internet Systems Consortium DHCP Server 4.2.6
    Jun  6 13:48:11 dmnlocal dhcpd: Copyright 2004-2014 Internet Systems Consortium.
    Jun  6 13:48:11 dmnlocal dhcpd: All rights reserved.
    Jun  6 13:48:11 dmnlocal dhcpd: For info, please visit https://www.isc.org/software/dhcp/
    Jun  6 13:48:11 dmnlocal dhcpd: Internet Systems Consortium DHCP Server 4.2.6
    Jun  6 13:48:11 dmnlocal dhcpd: Copyright 2004-2014 Internet Systems Consortium.
    Jun  6 13:48:11 dmnlocal dhcpd: All rights reserved.
    Jun  6 13:48:11 dmnlocal dhcpd: For info, please visit https://www.isc.org/software/dhcp/
    Jun  6 13:48:11 dmnlocal dhcpd: Wrote 198 leases to leases file.
    Jun  6 13:48:11 dmnlocal dhcpd: Listening on BPF/bge1/88:51:fb:xx:xx:69/192.168.11.0/24
    Jun  6 13:48:11 dmnlocal dhcpd: Sending on   BPF/bge1/88:51:fb:xx:xx:69/192.168.11.0/24
    Jun  6 13:48:11 dmnlocal dhcpd: Sending on   Socket/fallback/fallback-net
    Jun  6 13:48:11 dmnlocal check_reload_status: updating dyndns wan
    Jun  6 13:48:11 dmnlocal dhclient[96330]: dhclient already running, pid: 89203.
    Jun  6 13:48:11 dmnlocal dhclient[96330]: exiting.
    Jun  6 13:48:11 dmnlocal php: rc.interfaces_wan_configure: The command '/sbin/dhclient -c /var/etc/dhclient_wan.conf bge0 > /tmp/bge0_output 2> /tmp/bge0_error_output' returned exit code '1', the output was '' 
    Jun  6 13:48:11 dmnlocal kernel: arp: unknown hardware address format (0x4500)</null>
    

    Goed om erbij te vertellen dat de server met PfSense 2.1.1.  draait achter een Loadbalancer en switch.

    Iemand enig idee wat er kan zijn?
    Ik gebruik voor de WAN geen gespooft MAC address en 'sticky connections' staan ook uit. Via zoeken heb ik ook niks kunnen vinden helaas.
    Als er meer info nodig is , lever ik dit graag :-)

    Mijn dank is bij voorbaat groot



  • om te beginnen zou ik al proberen een update naar 2.1.3 uit te voeren.

    Als je draait achter een LB/switch dan is het redelijk abnormaal dat er een link DOWN/UP event zich voor doet…
    Dit kan dus duiden op een hardware probleem in de LB/Switch (wat ook rechtstreeks verbonden is met PfSense) of de netwerk kaart



  • Thanks voor je antwoord.

    Ik durf het niet zo aan om een productieomgeving zomaar te updaten naar 2.1.3. Bovendien lijkt het mij ook sterk dat de netwerk kaart niet goed functioneert, omdat ik dan ook zou verwachten dat de LAN problemen zou geven.

    Ik hoop eigenlijk dat er een instelling verkeerd staat. Afgelopen weekend ineens ook een stuk vaker problemen gehad. Nog een keer een log:

    
    Jun 10 04:55:09 dmnlocal check_reload_status: Linkup starting bge0
    Jun 10 04:55:09 dmnlocal kernel: bge0: link state changed to DOWN
    Jun 10 04:55:09 dmnlocal check_reload_status: Linkup starting bge0
    Jun 10 04:55:09 dmnlocal kernel: bge0: link state changed to UP
    Jun 10 04:55:09 dmnlocal kernel: bge0: link state changed to DOWN
    Jun 10 04:55:09 dmnlocal check_reload_status: Linkup starting bge0
    Jun 10 04:55:09 dmnlocal kernel: bge0: link state changed to UP
    Jun 10 04:55:09 dmnlocal check_reload_status: Linkup starting bge0
    Jun 10 04:55:09 dmnlocal kernel: bge0: link state changed to DOWN
    Jun 10 04:55:09 dmnlocal check_reload_status: Linkup starting bge0
    Jun 10 04:55:09 dmnlocal kernel: bge0: link state changed to UP
    Jun 10 04:55:09 dmnlocal check_reload_status: Linkup starting bge0
    Jun 10 04:55:12 dmnlocal php: rc.linkup: DEVD Ethernet attached event for wan
    Jun 10 04:55:12 dmnlocal php: rc.linkup: HOTPLUG: Configuring interface wan
    Jun 10 04:55:12 dmnlocal php: rc.linkup: DEVD Ethernet attached event for wan
    Jun 10 04:55:12 dmnlocal php: rc.linkup: HOTPLUG: Configuring interface wan
    Jun 10 04:55:12 dmnlocal dhclient: FAIL
    Jun 10 04:55:12 dmnlocal dhclient: Starting delete_old_states()
    Jun 10 04:55:12 dmnlocal dhclient: Comparing IPs: Old:  New: 
    Jun 10 04:55:12 dmnlocal dhclient[8839]: connection closed
    Jun 10 04:55:12 dmnlocal dhclient[8839]: exiting.
    Jun 10 04:55:12 dmnlocal php: rc.linkup: DEVD Ethernet detached event for wan
    Jun 10 04:55:12 dmnlocal php: rc.linkup: DEVD Ethernet detached event for wan
    Jun 10 04:55:12 dmnlocal dhclient: PREINIT
    Jun 10 04:55:12 dmnlocal dhclient: Starting delete_old_states()
    Jun 10 04:55:12 dmnlocal dhclient: Comparing IPs: Old:  New: 
    Jun 10 04:55:12 dmnlocal dhclient[13004]: DHCPREQUEST on bge0 to 255.255.255.255 port 67
    Jun 10 04:55:12 dmnlocal dhclient[15009]: connection closed
    Jun 10 04:55:12 dmnlocal dhclient[15009]: exiting.
    Jun 10 04:55:12 dmnlocal php: rc.linkup: The command '/sbin/dhclient -c /var/etc/dhclient_wan.conf bge0 > /tmp/bge0_output 2> /tmp/bge0_error_output' returned exit code '15', the output was '' 
    Jun 10 04:55:12 dmnlocal php: rc.linkup: DEVD Ethernet attached event for wan
    Jun 10 04:55:12 dmnlocal php: rc.linkup: HOTPLUG: Configuring interface wan
    Jun 10 04:55:12 dmnlocal php: rc.linkup: ROUTING: setting default route to 192.168.0.1
    Jun 10 04:55:12 dmnlocal php: rc.linkup: The command '/sbin/route change -inet default '192.168.0.1'' returned exit code '1', the output was 'route: writing to routing socket: No such process route: writing to routing socket: Network is unreachable change net default: gateway 192.168.0.1: Network is unreachable' 
    Jun 10 04:55:12 dmnlocal php: rc.linkup: DEVD Ethernet detached event for wan
    
    

    En dan nog dit stukje log. Het lijkt er toch op dat er iets niet goed wordt afgesloten want het lijkt dat het te verkegen DHCP address al in gebruik is.
    PfSense krijg via de WAN van de LB een DHCP adres (gereserveed ivm port forwarding). Zo het hier iets mee te maken kunne hebben?

    
    Jun 10 04:55:14 dmnlocal check_reload_status: Configuring interface wan
    Jun 10 04:55:14 dmnlocal ntpd[83886]: Deleting interface #2 bge0, 192.168.0.3#123, interface stats: received=100, sent=100, dropped=0, active_time=24994 secs
    Jun 10 04:55:14 dmnlocal ntpd[83886]: 134.34.3.19 local addr 192.168.0.3 -> <null>Jun 10 04:55:15 dmnlocal dnsmasq[88145]: started, version 2.68 cachesize 10000
    Jun 10 04:55:15 dmnlocal dnsmasq[88145]: compile time options: IPv6 GNU-getopt no-DBus i18n IDN DHCP DHCPv6 no-Lua TFTP no-conntrack no-ipset auth
    Jun 10 04:55:15 dmnlocal dnsmasq[88145]: reading /etc/resolv.conf
    Jun 10 04:55:15 dmnlocal dnsmasq[88145]: using nameserver 192.168.0.1#53
    Jun 10 04:55:15 dmnlocal dnsmasq[88145]: ignoring nameserver 127.0.0.1 - local interface
    Jun 10 04:55:15 dmnlocal dnsmasq[88145]: read /etc/hosts - 2 addresses
    Jun 10 04:55:15 dmnlocal dhcpd: Received signal 15, initiating shutdown.
    Jun 10 04:55:15 dmnlocal dhcpd: Disabling output on BPF/bge1/88:51:fb:28:40:69/192.168.11.0/24 [b]--> Zorgt ervoor dat de LAN ook down gaat[/b]
    Jun 10 04:55:15 dmnlocal dhcpd: Disabling input on BPF/bge1/88:51:fb:28:40:69/192.168.11.0/24 [b]--> Zorgt ervoor dat de LAN ook down gaat[/b]
    Jun 10 04:55:15 dmnlocal dnsmasq[91224]: failed to create listening socket for port 53: Address already in use
    Jun 10 04:55:15 dmnlocal dnsmasq[91224]: FAILED to start up
    Jun 10 04:55:15 dmnlocal dnsmasq[94694]: failed to create listening socket for port 53: Address already in use
    Jun 10 04:55:15 dmnlocal dnsmasq[94694]: FAILED to start up</null> 
    


  • volgens mij zijn die up/down kernel events kern van het probleem … al wat daarna/daarnaast gebeurd zijn neven-effecten ;)

    na de kantoor uren updaten/nieuwe bekabeling proberen/switch vervangen en-of poort wisselen/NIC vervangen/.... lijken mij de dingen die je nu kan proberen.

    deze week wordt 2.1.4 gereleased normaal gezien, misschien beter wachten op die release alvorens te updaten

    mvg

    jeroen



  • Ja dan moet ik er inderdaad aan geloven. Eerst de update dan maar proberen.

    Het is overigens een HP server en die hebben altijd, zo'n in sommige gevallen handig, ILO 4 systeem voorgezet. Wellicht gooit dit systeem wat roet in het eten, omdat het volgens mij draait op de achtergrond op dezelfde netwerkkaart. Als Pfsense eenmaal draait kom ik ook niet meer bij dit ILO 4 systeem. Wellicht als de wan down gaat pakt de ILO 4 meteen de netwerk en kan pfsense hem niet meer terugeisen?
    Totaal giswerk dit hoor, want snap sowieso niet helemaal hoe het werkt. Wellicht eens uitzoeken of eventueel een netwerkkaart bijplaatsen.

    Ik zal mijn ondervindingen hier iig plaatsen

    Bedankt



  • Heb je deze settings ook doorgenomen?

    https://doc.pfsense.org/index.php/Tuning_and_Troubleshooting_Network_Cards#Intel_igb.284.29_and_em.284.29_Cards

    En ik heb op de oudere versie vanwege het up en down gaan van mijn connectie een file moeten aanpassen:

    https://github.com/pfsense/pfsense/commit/f3a4601c85c4de78caa4f12fefd64067fd83dbe8