PPPoE routing wrong after upgrade



  • So I upgraded from 2.3.4_1 to 2.4.0.  All seemed fine until I noticed I was only able to receive traffic and not send any.  On closer inspection I noticed the default gateway was lo0 and not pppoe0.  Unable to see a way of fixing it in the UI (since I already had a default gateway of the pppoe0 IP set) I resorted to cli, and a recording of the session is below.  Anyone able to able in the repair, or is this a bug that needs fixing?

    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root: netstat -nr | more
    Routing tables

    Internet:
    Destination        Gateway            Flags    Netif Expire
    default            82.68.40.254      UGS        lo0
    10.0.3.1          link#18            UHS        lo0
    10.0.3.2          link#18            UH      ovpns1
    10.0.4.1          link#19            UHS        lo0
    10.0.4.2          link#19            UH      ovpns2
    10.0.5.1          link#20            UHS        lo0
    10.0.5.2          link#20            UH      ovpns3
    10.0.6.1          link#21            UHS        lo0
    10.0.6.2          link#21            UH      ovpns4
    10.0.7.2          pppoe0            UHS      pppoe0
    62.3.80.21        link#16            UH      pppoe0
    82.68.40.254      link#16            UHS        lo0
    127.0.0.1          link#4            UH          lo0
    192.168.50.0/24    link#2            U          em1
    192.168.50.254    link#2            UHS        lo0
    192.168.51.0/24    link#10            U      em2_vlan
    192.168.51.254    link#10            UHS        lo0
    192.168.52.0/24    link#8            U      em2_vlan
    192.168.52.254    link#8            UHS        lo0
    192.168.53.0/24    link#9            U      em2_vlan
    192.168.53.254    link#9            UHS        lo0
    192.168.54.0/24    link#11            U      em2_vlan
    192.168.54.254    link#11            UHS        lo0
    192.168.56.0/24    link#14            U      em2_vlan
    192.168.56.254    link#14            UHS        lo0
    192.168.57.0/24    link#12            U      em2_vlan
    192.168.57.254    link#12            UHS        lo0
    192.168.58.0/25    192.168.58.253    UGS    em2_vlan
    192.168.58.252/30  link#13            U      em2_vlan
    192.168.58.254    link#13            UHS        lo0
    192.168.59.0/24    link#15            U      em2_vlan
    192.168.59.254    link#15            UHS        lo0
    192.168.60.0/24    10.0.5.2          UGS      ovpns3
    192.168.61.0/24    10.0.5.2          UGS      ovpns3
    192.168.62.0/24    10.0.5.2          UGS      ovpns3
    192.168.63.0/24    10.0.5.2          UGS      ovpns3
    192.168.70.0/24    10.0.3.2          UGS      ovpns1
    192.168.80.0/24    10.0.6.2          UGS      ovpns4
    192.168.100.0/24  10.0.4.2          UGS      ovpns2
    216.66.80.26      82.68.40.254      UGHS        lo0

    Internet6:
    Destination                      Gateway                      Flags    Netif Expire
    default                          2001:470:1f08:1c4f::1        UGS        gif0
    ::1                              link#4                        UH          lo0
    2001:470:1f08:1c4f::1            link#17                      UH        gif0
    2001:470:1f08:1c4f::2            link#17                      UHS        lo0
    2001:470:906e:1::/64              link#2                        U          em1
    2001:470:906e:1::1                link#2                        UHS        lo0
    2001:470:906e:2::/64              link#8                        U      em2_vlan
    2001:470:906e:2::1                link#8                        UHS        lo0
    2001:470:906e:4::/64              link#11                      U      em2_vlan
    2001:470:906e:4::1                link#11                      UHS        lo0
    2001:470:906e:5::/64              link#13                      U      em2_vlan
    2001:470:906e:5::1                link#13                      UHS        lo0
    2001:470:906e:6::/64              link#14                      U      em2_vlan
    2001:470:906e:6::1                link#14                      UHS        lo0
    2001:470:906e:7::/64              link#12                      U      em2_vlan
    2001:470:906e:7::1                link#12                      UHS        lo0
    fe80::%em0/64                    link#1                        U          em0
    fe80::207:e9ff:fe1f:e3f2%em0      link#1                        UHS        lo0
    fe80::%em1/64                    link#2                        U          em1
    fe80::211:43ff:fee0:fd7a%em1      link#2                        UHS        lo0
    fe80::%em2/64                    link#3                        U          em2
    fe80::211:43ff:fee0:fd7b%em2      link#3                        UHS        lo0
    fe80::%lo0/64                    link#4                        U          lo0
    fe80::1%lo0                      link#4                        UHS        lo0
    fe80::%em2_vlan3/64              link#8                        U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan3 link#8                      UHS        lo0
    fe80::%em2_vlan4/64              link#9                        U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan4 link#9                      UHS        lo0
    fe80::%em2_vlan6/64              link#10                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan6 link#10                      UHS        lo0
    fe80::%em2_vlan5/64              link#11                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan5 link#11                      UHS        lo0
    fe80::%em2_vlan7/64              link#12                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan7 link#12                      UHS        lo0
    fe80::%em2_vlan8/64              link#13                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan8 link#13                      UHS        lo0
    fe80::%em2_vlan10/64              link#14                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan10 link#14                    UHS        lo0
    fe80::%em2_vlan9/64              link#15                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan9 link#15                      UHS        lo0
    fe80::%pppoe0/64                  link#16                      U        pppoe0
    fe80::207:e9ff:fe1f:e3f2%pppoe0  link#16                      UHS        lo0
    fe80::%gif0/64                    link#17                      U          gif0
    fe80::207:e9ff:fe1f:e3f2%gif0    link#17                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns1  link#18                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns2  link#19                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns3  link#20                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns4  link#21                      UHS        lo0
    fe80::%ovpns6/64                  link#22                      U        ovpns6
    fe80::207:e9ff:fe1f:e3f2%ovpns6  link#22                      UHS        lo0
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root: route del default -interface lo0
    del net default: gateway lo0
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root: netstat -nr | more
    Routing tables

    Internet:
    Destination        Gateway            Flags    Netif Expire
    10.0.3.1          link#18            UHS        lo0
    10.0.3.2          link#18            UH      ovpns1
    10.0.4.1          link#19            UHS        lo0
    10.0.4.2          link#19            UH      ovpns2
    10.0.5.1          link#20            UHS        lo0
    10.0.5.2          link#20            UH      ovpns3
    10.0.6.1          link#21            UHS        lo0
    10.0.6.2          link#21            UH      ovpns4
    10.0.7.2          pppoe0            UHS      pppoe0
    62.3.80.21        link#16            UH      pppoe0
    82.68.40.254      link#16            UHS        lo0
    127.0.0.1          link#4            UH          lo0
    192.168.50.0/24    link#2            U          em1
    192.168.50.254    link#2            UHS        lo0
    192.168.51.0/24    link#10            U      em2_vlan
    192.168.51.254    link#10            UHS        lo0
    192.168.52.0/24    link#8            U      em2_vlan
    192.168.52.254    link#8            UHS        lo0
    192.168.53.0/24    link#9            U      em2_vlan
    192.168.53.254    link#9            UHS        lo0
    192.168.54.0/24    link#11            U      em2_vlan
    192.168.54.254    link#11            UHS        lo0
    192.168.56.0/24    link#14            U      em2_vlan
    192.168.56.254    link#14            UHS        lo0
    192.168.57.0/24    link#12            U      em2_vlan
    192.168.57.254    link#12            UHS        lo0
    192.168.58.0/25    192.168.58.253    UGS    em2_vlan
    192.168.58.252/30  link#13            U      em2_vlan
    192.168.58.254    link#13            UHS        lo0
    192.168.59.0/24    link#15            U      em2_vlan
    192.168.59.254    link#15            UHS        lo0
    192.168.60.0/24    10.0.5.2          UGS      ovpns3
    192.168.61.0/24    10.0.5.2          UGS      ovpns3
    192.168.62.0/24    10.0.5.2          UGS      ovpns3
    192.168.63.0/24    10.0.5.2          UGS      ovpns3
    192.168.70.0/24    10.0.3.2          UGS      ovpns1
    192.168.80.0/24    10.0.6.2          UGS      ovpns4
    192.168.100.0/24  10.0.4.2          UGS      ovpns2
    216.66.80.26      82.68.40.254      UGHS        lo0

    Internet6:
    Destination                      Gateway                      Flags    Netif Expire
    default                          2001:470:1f08:1c4f::1        UGS        gif0
    ::1                              link#4                        UH          lo0
    2001:470:1f08:1c4f::1            link#17                      UH        gif0
    2001:470:1f08:1c4f::2            link#17                      UHS        lo0
    2001:470:906e:1::/64              link#2                        U          em1
    2001:470:906e:1::1                link#2                        UHS        lo0
    2001:470:906e:2::/64              link#8                        U      em2_vlan
    2001:470:906e:2::1                link#8                        UHS        lo0
    2001:470:906e:4::/64              link#11                      U      em2_vlan
    2001:470:906e:4::1                link#11                      UHS        lo0
    2001:470:906e:5::/64              link#13                      U      em2_vlan
    2001:470:906e:5::1                link#13                      UHS        lo0
    2001:470:906e:6::/64              link#14                      U      em2_vlan
    2001:470:906e:6::1                link#14                      UHS        lo0
    2001:470:906e:7::/64              link#12                      U      em2_vlan
    2001:470:906e:7::1                link#12                      UHS        lo0
    fe80::%em0/64                    link#1                        U          em0
    fe80::207:e9ff:fe1f:e3f2%em0      link#1                        UHS        lo0
    fe80::%em1/64                    link#2                        U          em1
    fe80::211:43ff:fee0:fd7a%em1      link#2                        UHS        lo0
    fe80::%em2/64                    link#3                        U          em2
    fe80::211:43ff:fee0:fd7b%em2      link#3                        UHS        lo0
    fe80::%lo0/64                    link#4                        U          lo0
    fe80::1%lo0                      link#4                        UHS        lo0
    fe80::%em2_vlan3/64              link#8                        U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan3 link#8                      UHS        lo0
    fe80::%em2_vlan4/64              link#9                        U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan4 link#9                      UHS        lo0
    fe80::%em2_vlan6/64              link#10                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan6 link#10                      UHS        lo0
    fe80::%em2_vlan5/64              link#11                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan5 link#11                      UHS        lo0
    fe80::%em2_vlan7/64              link#12                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan7 link#12                      UHS        lo0
    fe80::%em2_vlan8/64              link#13                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan8 link#13                      UHS        lo0
    fe80::%em2_vlan10/64              link#14                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan10 link#14                    UHS        lo0
    fe80::%em2_vlan9/64              link#15                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan9 link#15                      UHS        lo0
    fe80::%pppoe0/64                  link#16                      U        pppoe0
    fe80::207:e9ff:fe1f:e3f2%pppoe0  link#16                      UHS        lo0
    fe80::%gif0/64                    link#17                      U          gif0
    fe80::207:e9ff:fe1f:e3f2%gif0    link#17                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns1  link#18                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns2  link#19                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns3  link#20                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns4  link#21                      UHS        lo0
    fe80::%ovpns6/64                  link#22                      U        ovpns6
    fe80::207:e9ff:fe1f:e3f2%ovpns6  link#22                      UHS        lo0
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root: route add default -interface pppoe0
    add net default: gateway pppoe0
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root: netstat -nr | more
    Routing tables

    Internet:
    Destination        Gateway            Flags    Netif Expire
    default            pppoe0            US      pppoe0
    10.0.3.1          link#18            UHS        lo0
    10.0.3.2          link#18            UH      ovpns1
    10.0.4.1          link#19            UHS        lo0
    10.0.4.2          link#19            UH      ovpns2
    10.0.5.1          link#20            UHS        lo0
    10.0.5.2          link#20            UH      ovpns3
    10.0.6.1          link#21            UHS        lo0
    10.0.6.2          link#21            UH      ovpns4
    10.0.7.2          pppoe0            UHS      pppoe0
    62.3.80.21        link#16            UH      pppoe0
    82.68.40.254      link#16            UHS        lo0
    127.0.0.1          link#4            UH          lo0
    192.168.50.0/24    link#2            U          em1
    192.168.50.254    link#2            UHS        lo0
    192.168.51.0/24    link#10            U      em2_vlan
    192.168.51.254    link#10            UHS        lo0
    192.168.52.0/24    link#8            U      em2_vlan
    192.168.52.254    link#8            UHS        lo0
    192.168.53.0/24    link#9            U      em2_vlan
    192.168.53.254    link#9            UHS        lo0
    192.168.54.0/24    link#11            U      em2_vlan
    192.168.54.254    link#11            UHS        lo0
    192.168.56.0/24    link#14            U      em2_vlan
    192.168.56.254    link#14            UHS        lo0
    192.168.57.0/24    link#12            U      em2_vlan
    192.168.57.254    link#12            UHS        lo0
    192.168.58.0/25    192.168.58.253    UGS    em2_vlan
    192.168.58.252/30  link#13            U      em2_vlan
    192.168.58.254    link#13            UHS        lo0
    192.168.59.0/24    link#15            U      em2_vlan
    192.168.59.254    link#15            UHS        lo0
    192.168.60.0/24    10.0.5.2          UGS      ovpns3
    192.168.61.0/24    10.0.5.2          UGS      ovpns3
    192.168.62.0/24    10.0.5.2          UGS      ovpns3
    192.168.63.0/24    10.0.5.2          UGS      ovpns3
    192.168.70.0/24    10.0.3.2          UGS      ovpns1
    192.168.80.0/24    10.0.6.2          UGS      ovpns4
    192.168.100.0/24  10.0.4.2          UGS      ovpns2
    216.66.80.26      82.68.40.254      UGHS        lo0

    Internet6:
    Destination                      Gateway                      Flags    Netif Expire
    default                          2001:470:1f08:1c4f::1        UGS        gif0
    ::1                              link#4                        UH          lo0
    2001:470:1f08:1c4f::1            link#17                      UH        gif0
    2001:470:1f08:1c4f::2            link#17                      UHS        lo0
    2001:470:906e:1::/64              link#2                        U          em1
    2001:470:906e:1::1                link#2                        UHS        lo0
    2001:470:906e:2::/64              link#8                        U      em2_vlan
    2001:470:906e:2::1                link#8                        UHS        lo0
    2001:470:906e:4::/64              link#11                      U      em2_vlan
    2001:470:906e:4::1                link#11                      UHS        lo0
    2001:470:906e:5::/64              link#13                      U      em2_vlan
    2001:470:906e:5::1                link#13                      UHS        lo0
    2001:470:906e:6::/64              link#14                      U      em2_vlan
    2001:470:906e:6::1                link#14                      UHS        lo0
    2001:470:906e:7::/64              link#12                      U      em2_vlan
    2001:470:906e:7::1                link#12                      UHS        lo0
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root:
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root:
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root:
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root: netstat -nr | more
    Routing tables

    Internet:
    Destination        Gateway            Flags    Netif Expire
    default            pppoe0            US      pppoe0
    10.0.3.1          link#18            UHS        lo0
    10.0.3.2          link#18            UH      ovpns1
    10.0.4.1          link#19            UHS        lo0
    10.0.4.2          link#19            UH      ovpns2
    10.0.5.1          link#20            UHS        lo0
    10.0.5.2          link#20            UH      ovpns3
    10.0.6.1          link#21            UHS        lo0
    10.0.6.2          link#21            UH      ovpns4
    10.0.7.2          pppoe0            UHS      pppoe0
    62.3.80.21        link#16            UH      pppoe0
    82.68.40.254      link#16            UHS        lo0
    127.0.0.1          link#4            UH          lo0
    192.168.50.0/24    link#2            U          em1
    192.168.50.254    link#2            UHS        lo0
    192.168.51.0/24    link#10            U      em2_vlan
    192.168.51.254    link#10            UHS        lo0
    192.168.52.0/24    link#8            U      em2_vlan
    192.168.52.254    link#8            UHS        lo0
    192.168.53.0/24    link#9            U      em2_vlan
    192.168.53.254    link#9            UHS        lo0
    192.168.54.0/24    link#11            U      em2_vlan
    192.168.54.254    link#11            UHS        lo0
    192.168.56.0/24    link#14            U      em2_vlan
    192.168.56.254    link#14            UHS        lo0
    192.168.57.0/24    link#12            U      em2_vlan
    192.168.57.254    link#12            UHS        lo0
    192.168.58.0/25    192.168.58.253    UGS    em2_vlan
    192.168.58.252/30  link#13            U      em2_vlan
    192.168.58.254    link#13            UHS        lo0
    192.168.59.0/24    link#15            U      em2_vlan
    192.168.59.254    link#15            UHS        lo0
    192.168.60.0/24    10.0.5.2          UGS      ovpns3
    192.168.61.0/24    10.0.5.2          UGS      ovpns3
    192.168.62.0/24    10.0.5.2          UGS      ovpns3
    192.168.63.0/24    10.0.5.2          UGS      ovpns3
    192.168.70.0/24    10.0.3.2          UGS      ovpns1
    192.168.80.0/24    10.0.6.2          UGS      ovpns4
    192.168.100.0/24  10.0.4.2          UGS      ovpns2
    216.66.80.26      82.68.40.254      UGHS        lo0

    Internet6:
    Destination                      Gateway                      Flags    Netif Expire
    default                          2001:470:1f08:1c4f::1        UGS        gif0
    ::1                              link#4                        UH          lo0
    2001:470:1f08:1c4f::1            link#17                      UH        gif0
    2001:470:1f08:1c4f::2            link#17                      UHS        lo0
    2001:470:906e:1::/64              link#2                        U          em1
    2001:470:906e:1::1                link#2                        UHS        lo0
    2001:470:906e:2::/64              link#8                        U      em2_vlan
    2001:470:906e:2::1                link#8                        UHS        lo0
    2001:470:906e:4::/64              link#11                      U      em2_vlan
    2001:470:906e:4::1                link#11                      UHS        lo0
    2001:470:906e:5::/64              link#13                      U      em2_vlan
    2001:470:906e:5::1                link#13                      UHS        lo0
    2001:470:906e:6::/64              link#14                      U      em2_vlan
    2001:470:906e:6::1                link#14                      UHS        lo0
    2001:470:906e:7::/64              link#12                      U      em2_vlan
    2001:470:906e:7::1                link#12                      UHS        lo0
    fe80::%em0/64                    link#1                        U          em0
    fe80::207:e9ff:fe1f:e3f2%em0      link#1                        UHS        lo0
    fe80::%em1/64                    link#2                        U          em1
    fe80::211:43ff:fee0:fd7a%em1      link#2                        UHS        lo0
    fe80::%em2/64                    link#3                        U          em2
    fe80::211:43ff:fee0:fd7b%em2      link#3                        UHS        lo0
    fe80::%lo0/64                    link#4                        U          lo0
    fe80::1%lo0                      link#4                        UHS        lo0
    fe80::%em2_vlan3/64              link#8                        U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan3 link#8                      UHS        lo0
    fe80::%em2_vlan4/64              link#9                        U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan4 link#9                      UHS        lo0
    fe80::%em2_vlan6/64              link#10                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan6 link#10                      UHS        lo0
    fe80::%em2_vlan5/64              link#11                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan5 link#11                      UHS        lo0
    fe80::%em2_vlan7/64              link#12                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan7 link#12                      UHS        lo0
    fe80::%em2_vlan8/64              link#13                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan8 link#13                      UHS        lo0
    fe80::%em2_vlan10/64              link#14                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan10 link#14                    UHS        lo0
    fe80::%em2_vlan9/64              link#15                      U      em2_vlan
    fe80::211:43ff:fee0:fd7b%em2_vlan9 link#15                      UHS        lo0
    fe80::%pppoe0/64                  link#16                      U        pppoe0
    fe80::207:e9ff:fe1f:e3f2%pppoe0  link#16                      UHS        lo0
    fe80::%gif0/64                    link#17                      U          gif0
    fe80::207:e9ff:fe1f:e3f2%gif0    link#17                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns1  link#18                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns2  link#19                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns3  link#20                      UHS        lo0
    fe80::207:e9ff:fe1f:e3f2%ovpns4  link#21                      UHS        lo0
    fe80::%ovpns6/64                  link#22                      U        ovpns6
    fe80::207:e9ff:fe1f:e3f2%ovpns6  link#22                      UHS        lo0
    [2.4.0-RELEASE][root@firewall.terabyte-computing.com]/root:



  • That's weird!
    I'm using pppoe on 2.4 (sg-1000) - so it's not an upgrade from 2.3.x
    But it works fine for me.
    Have you tried deleting and re-creating the pppoe config?