[Gelöst] Migration von 2.1.3 nach 2.2.4 bei gleichzeitigem Hardware-Wechsel

JeGr

Ein Reboot zeigt nur noch Müll auf der seriellen Konsole

Das könnte der unterschiedlichen Baudrate geschuldet sein. Auf was ist die alte Alix und Config eingestellt? 9600-8N1? 19200-8N1? Version 2.2.5 läuft default mit 115200-8-N-1, deshalb kann der Buchstabensalat daher kommen.

IM Normalfall sollte bei einem Interface Mismatch das Consolen Menü via Serial kommen mit der Option LAN/WAN/OPT1 manuell zuzuweisen.

Grüße

Guest

Aber welches 'Interface mismatch' könnte da gemeint sein und wie könnte ich das beheben?

Die Interfaces haben andere Namen bei der APU hier ist ein anderer Beitrag aus einem anderen Forum
wo jemand das selbe Problem hatte. pfSense auf APU

fork

@BlueKobold:

Die Interfaces haben andere Namen bei der APU hier ist ein anderer Beitrag aus einem anderen Forum wo jemand das selbe Problem hatte.

TNX. Das hatte ich aber schon für die APU adressiert:
@fork:

Ich habe versucht, die XML-Datei für den Restore von Hand zu editieren. Dabei habe ich die Vorkommen von 'vrX' durch 'reX' ersetzt. Die MAC-Adressen der Ports waren nicht in dem Backup enthalten - das war eigentlich meine größte Hoffnung.

Gebracht hat das leider nix…

Und die letzten Versuche zeigten, dass das Problem bei einer baugleichen ALIX als Zielsystem genau so auftritt.

fork

@JeGr:

IM Normalfall sollte bei einem Interface Mismatch das Consolen Menü via Serial kommen mit der Option LAN/WAN/OPT1 manuell zuzuweisen.

TNX. Ich habe das versucht, wieder auf der APU mit der hinsichtlich der Interface-Namen angepassenten XML-Konfiguration. Nach dem Import der Konfiguration versuchte ich, das Interface zuzuzweisen.

In meinem Fall sollte das LAN-Interface 'lagg0' sein, aber das steht nicht zur Auswahl:

Enter an option: 1

Valid interfaces are:
00:0d:a8:17:b2:28
re0    00:0d:a8:17:b2:28 (down) RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet
re1    00:0d:a8:17:b2:29   (up) RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet
re2    00:0d:a8:17:b2:30   (up) RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet

Do you want to set up VLANs first? 

If you are not going to use VLANs, or only for optional interfaces, you should
say no here and use the webConfigurator to configure VLANs later, if required.

Do you want to set up VLANs now [y|n]? n

VLAN interfaces:

lagg0_vlan10    VLAN tag 10, parent interface lagg0
lagg0_vlan11    VLAN tag 11, parent interface lagg0
lagg0_vlan13    VLAN tag 13, parent interface lagg0
lagg0_vlan14    VLAN tag 14, parent interface lagg0
lagg0_vlan4094  VLAN tag 4094, parent interface lagg0
lagg0_vlan12    VLAN tag 12, parent interface lagg0
lagg0_vlan16    VLAN tag 16, parent interface lagg0
lagg0_vlan15    VLAN tag 15, parent interface lagg0
lagg0_vlan18    VLAN tag 18, parent interface lagg0
lagg0_vlan19    VLAN tag 19, parent interface lagg0
lagg0_vlan20    VLAN tag 20, parent interface lagg0
lagg0_vlan21    VLAN tag 21, parent interface lagg0

If you do not know the names of your interfaces, you may choose to use
auto-detection. In that case, disconnect all interfaces now before
hitting 'a' to initiate auto detection.

Enter the WAN interface name or 'a' for auto-detection: re1

Enter the LAN interface name or 'a' for auto-detection 
NOTE: this enables full Firewalling/NAT mode.
(or nothing if finished): lagg0

Invalid interface name 'lagg0'

Daraufhin habe ich versucht, die Link Aggregation über das Web-Interface zu ändern. Das zeigte mir aber initial schon das korrekte Bonding aus re0 + re2 an. Als ich das dann speicherte, war danach das Web-Interface unbrauchbar und nach einem reboot die Installation kaputt.

fork

Bin möglicherweise einen großen Schritt weiter gekommen. Die bisherigen Beobachtungen lassen mich einen Bug im Import von 2.2.4 vermuten.

Darum habe ich den Import von Release 2.2 auf der APU getestet, wieder mit der angepassten Konfigurationsdatei.

Tatsächlih sieht danach die Konfiguration deutlich besser aus:


*** Welcome to pfSense 2.2-RELEASE-pfSense (amd64) on pfsense ***

 WAN (wan)       -> pppoe0     -> v4/PPPoE: <xxx>VPN (lan)       -> ovpns2     -> 
 VLAN13 (opt1)   -> lagg0_vlan13 -> v4: 172.16.13.1/24
 VLAN11 (opt2)   -> lagg0_vlan11 -> v4: 172.16.11.1/24
 VLAN12 (opt3)   -> lagg0_vlan12 -> v4: 172.16.12.1/24
 VLAN14 (opt4)   -> lagg0_vlan14 -> v4: 172.16.14.1/24
 VLAN10 (opt5)   -> lagg0_vlan10 -> v4: 172.16.10.1/24
 VLAN16 (opt6)   -> lagg0_vlan16 -> v4: 172.16.16.1/24
 VLAN15 (opt7)   -> lagg0_vlan15 -> v4: 172.16.15.1/24
 VLAN18 (opt8)   -> lagg0_vlan18 -> v4: 172.16.18.1/24
 VLAN19 (opt9)   -> lagg0_vlan19 -> v4: 172.16.19.1/24
 VLAN20 (opt10)  -> lagg0_vlan20 -> v4: 172.16.20.1/24
 VLAN21 (opt11)  -> lagg0_vlan21 -> v4: 172.16.21.1/24</xxx>

Das sieht schon mal sehr vielversprechend aus, auch nach einem Reboot.

Leider reicht das noch nicht, irgendwo steckt jetzt noch mindestens ein Fehler. Denn von der pfsense komme ich zwar raus, aber das komplette interne Netz scheint nicht zu funktionieren. So komme ich auch nicht auf das Web-Interface oder per SSH auf die pfsense.

fork

Ich versuche, die Ursache für das kaputte interne Netz herauszufinden. Dazu mache ich ein Diff zwischen der funktionierenden bestehenden Instanz (2.1.5@alix) und der kaputten neuen (2.2@apu). Auf beiden Systemen ist Link-Aggregation konfiguriert, es steckt aber nur ein Kabel in Port 're2' bzw. 'vr2'.

Funktionierende Instanz (2.1.5@alix):

ifconfig
[...]
vr2: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8280b <rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe27:baba%vr2 prefixlen 64 scopeid 0x3 
        nd6 options=3 <performnud,accept_rtadv>media: Ethernet autoselect (none)
        status: no carrier
enc0: flags=0<> metric 0 mtu 1536
pflog0: flags=100 <promisc>metric 0 mtu 33192
pfsync0: flags=0<> metric 0 mtu 1460
        syncpeer: 224.0.0.240 maxupd: 128 syncok: 1
lo0: flags=8049 <up,loopback,running,multicast>metric 0 mtu 16384
        options=3 <rxcsum,txcsum>inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x7 
        nd6 options=3 <performnud,accept_rtadv>lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8280b <rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe27:bab8%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=3 <performnud,accept_rtadv>media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: vr2 flags=0<>
        laggport: vr0 flags=1c <active,collecting,distributing>lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ef:fa28:a3b9%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255
        nd6 options=1 <performnud>media: Ethernet autoselect
        status: active
        vlan: 10 vlanpcp: 0 parent interface: lagg0
[...]</performnud></up,broadcast,running,simplex,multicast></active,collecting,distributing></performnud,accept_rtadv></rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,accept_rtadv></rxcsum,txcsum></up,loopback,running,multicast></promisc></performnud,accept_rtadv></rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate></up,broadcast,running,simplex,multicast>

Kaputte Instanz (2.2@apu):

ifconfig
[...]
re2: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:a8:17:b2:2a
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (none)
        status: no carrier
pflog0: flags=100 <promisc>metric 0 mtu 33144
pfsync0: flags=0<> metric 0 mtu 1500
        syncpeer: 224.0.0.240 maxupd: 128 defer: on
        syncok: 1
lo0: flags=8049 <up,loopback,running,multicast>metric 0 mtu 16384
        options=600003 <rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6>inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x6 
        nd6 options=21 <performnud,auto_linklocal>enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21 <performnud,auto_linklocal>lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:a8:17:b2:2a
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: no carrier
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=0<>
        laggport: re0 flags=0<>
lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:a8:17:b2:2a
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: no carrier
        vlan: 10 vlanpcp: 0 parent interface: lagg0
[...]</performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></performnud,auto_linklocal></rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6></up,loopback,running,multicast></promisc></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast>

Man beachte den LACP-Status:


        status: no carrier
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=0<>
        laggport: re0 flags=0<>

Ich vermute stark, dass hier der Hase im Pfeffer liegt. Hat jemand vielleicht einen Hinweis, was da schief laufen könnte???
TNX

JeGr

Du hast zwar re0 aus deinem Codeblock rausgeschnitten, aber re2 sieht man in deinem Interface dump auch schon als nicht aktiv. Sprich da wird kein Carrier gefunden/Kabel steckt nicht/Switch erkennt Port nicht/whatever. Wenn das bei re0 auch der Fall ist, ist es kein Wunder, dass das lagg0 Interface nicht tut.

Oder du hast das LAGG Interface auf dem Switch nicht sauber konfiguriert? Spricht der Switch da LACP active?

Siehe https://doc.pfsense.org/index.php/Upgrade_Guide#LAGG_LACP_Behavior_Change

Sollte der switch kein sauberes LACP sprechen, kannst du die dort genannte Einstellung ja mal setzen und schauen, ob das lagg0 Interface dann zum Leben erwacht!

Grüße

fork

Moin JeGr,

vielen Dank für den Hinweis. Ich habe tatsächlich Probleme mit dem Switch, seit ich vor ca. einem Jahr auf einen 'Foundry Networks' wechseln musste, auf dem ich bislang das LACP noch nicht zum Laufen gebracht habe. Seitdem läuft die pfsense nur auf einem Bein, das war bislang aber kein Problem. Mit den neueren Versionen sieht das wohl anders aus.

Im Lichte Deines Links kann das natürlich genau mein aktuelles Problem sein. Das würde ich gerne testen und auf den alten Stand zurückdrehen, aber die Anleitung zeigt nur den Weg nur über das Web-Interface, welches bei mir gerade nicht startet. Kennst Du (oder jemand anderes) einen Weg über die Kommandozeile?

JeGr

Hallo fork,

https://forum.pfsense.org/index.php?topic=87311.0

Das sollte ganz normal via sysctl gesetzt werden können

sysctl <wert>=0</wert>

fork

@JeGr:

https://forum.pfsense.org/index.php?topic=87311.0

TNX. Das hatte ich schon erfolglos mit der 2.2 getestet.

Bin dann noch mal zurück zur eigentlich angestrebten Installation von 2.4@apu und habe den von Dir referenzierten Eintrag im Web-Interface direkt nach dem Import der Konfigurationsdatei durchgeführt (in dieser Phase funktioniert das Web-Interface noch). Das scheint mich schon mal einen weiteren Schritt voran gebracht zu haben. Status nach dem Reboot:

*** Welcome to pfSense 2.2.4-RELEASE-pfSense (amd64) on pfsense ***

 WAN (wan)       -> pppoe0     -> 
 VPN (lan)       -> ovpns2     -> 
 VLAN13 (opt1)   -> lagg0_vlan13 -> v4: 172.16.13.1/24
 VLAN11 (opt2)   -> lagg0_vlan11 -> v4: 172.16.11.1/24
 VLAN12 (opt3)   -> lagg0_vlan12 -> v4: 172.16.12.1/24
 VLAN14 (opt4)   -> lagg0_vlan14 -> v4: 172.16.14.1/24
 VLAN10 (opt5)   -> lagg0_vlan10 -> v4: 172.16.10.1/24
 VLAN16 (opt6)   -> lagg0_vlan16 -> v4: 172.16.16.1/24
 VLAN15 (opt7)   -> lagg0_vlan15 -> v4: 172.16.15.1/24
 VLAN18 (opt8)   -> lagg0_vlan18 -> v4: 172.16.18.1/24
 VLAN19 (opt9)   -> lagg0_vlan19 -> v4: 172.16.19.1/24
 VLAN20 (opt10)  -> lagg0_vlan20 -> v4: 172.16.20.1/24
 VLAN21 (opt11)  -> lagg0_vlan21 -> v4: 172.16.21.1/24

lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=0<>
        laggport: re0 flags=0<>
lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 10 vlanpcp: 0 parent interface: lagg0</performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast>

Der Status steht jetzt auf 'active', das war vorher anders. Aber das reicht noch nicht, das LAN funktioniert immer noch nicht.

laggport: re0 flags=0<>

Beim funktionierenden Muster steht da:

laggport: vr0 flags=1c<active,collecting,distributing></active,collecting,distributing>

JeGr

Hast du aus der Phase auch das Snippet für re0 und re2? Das wäre interessanter, da diese beiden ja die "Basis Interfaces" sind. Lagg0 liegt ja obenauf. Da scheint re0 oder re2 noch nicht wirklich auf ACTIVE zu stehen.

fork

@JeGr: Vielen Dank, dass Du dich da so reinhängst.

Hier die Konfiguration inkl. der realen Interfaces:

[2.2.4-RELEASE][root@pfsense.fork.local]/root: ifconfig
re0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (none)
        status: no carrier
re1: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:3e:b2:29
        inet6 fe80::20d:b9ff:fe3e:b229%re1 prefixlen 64 scopeid 0x2 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (none)
        status: no carrier
re2: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
pflog0: flags=100 <promisc>metric 0 mtu 33144
pfsync0: flags=0<> metric 0 mtu 1500
        syncpeer: 224.0.0.240 maxupd: 128 defer: on
        syncok: 1
lo0: flags=8049 <up,loopback,running,multicast>metric 0 mtu 16384
        options=600003 <rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6>inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x6 
        nd6 options=21 <performnud,auto_linklocal>enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21 <performnud,auto_linklocal>lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=0<>
        laggport: re0 flags=0<>
lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 10 vlanpcp: 0 parent interface: lagg0
...</performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></performnud,auto_linklocal></rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6></up,loopback,running,multicast></promisc></full-duplex></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast>

Hinweis: Nur in 're2' ist das Kabel zum Notebook gesteckt, um auf das LAN zuzugreifen..

fork

Ich glaube, dass ich es jetzt geschafft habe.

Nachdem klar war, dass es irgendein Problem mit dem auf dem produktiven Switch konfigurierten LACP gibt, habe ich einen kleinen 8-Port 'Netgear GS 108T' für LACP auf Port 1+2 konfiguriert. Damit funktionierte dann das LAN sofort!
Weil ich mich mit der Konfiguration von LACP auf dem produktiven Switch 'Foundry Networks FastIron FWS 624G' noch etwas schwer tue (bin kein Profi), habe ich etwas geschummelt und den Port 3 (Netgear) mit allen VLANs getagged konfiguriert und an den bislang für die pfsense vorgesehenen Port an dem 'Foundry'-Switch geklemmt.
Im Endeffekt habe ich jetzt zwei hintereinandergeschaltete Switches, wobei der erste (Netgear) LACP auf zwei Ports macht und über einen Port an den zweiten 'foundry' angeschlossen ist. Damit läuft es jetzt scheinbar rund.

Ja, ich weiß, dass das so noch Mist ist! Nächster Schritt sollte woll sein, LACP auf dem 'Foundry' sauber zu konfigurieren und die pfsense dann direkt dort redundant anzuschliessen. Der Punkt ist aber, dass ich jetzt sowohl Software als auch Hardware der Firewall vollständig durch Konfigurationsimport migriert habe.

Die aktuelle Konfiguration:

[2.2.4-RELEASE][root@pfsense.fork.local]/root: ifconfig
re0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
re1: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:3e:b2:29
        inet6 fe80::20d:b9ff:fe4a:b129%re1 prefixlen 64 scopeid 0x2 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (100baseTX <full-duplex>)
        status: active
re2: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (1000baseT <full-duplex>)
        status: active
pflog0: flags=100 <promisc>metric 0 mtu 33144
pfsync0: flags=0<> metric 0 mtu 1500
        syncpeer: 224.0.0.240 maxupd: 128 defer: on
        syncok: 1
lo0: flags=8049 <up,loopback,running,multicast>metric 0 mtu 16384
        options=600003 <rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6>inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x6 
        nd6 options=21 <performnud,auto_linklocal>enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21 <performnud,auto_linklocal>lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=1c <active,collecting,distributing>laggport: re0 flags=1c <active,collecting,distributing>lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 10 vlanpcp: 0 parent interface: lagg0
lagg0_vlan11: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan11 prefixlen 64 scopeid 0xa 
        inet 172.16.11.1 netmask 0xffffff00 broadcast 172.16.11.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 11 vlanpcp: 0 parent interface: lagg0
lagg0_vlan13: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan13 prefixlen 64 scopeid 0xb 
        inet 172.16.13.1 netmask 0xffffff00 broadcast 172.16.13.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 13 vlanpcp: 0 parent interface: lagg0
lagg0_vlan14: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan14 prefixlen 64 scopeid 0xc 
        inet 172.16.14.1 netmask 0xffffff00 broadcast 172.16.14.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 14 vlanpcp: 0 parent interface: lagg0
lagg0_vlan4094: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan4094 prefixlen 64 scopeid 0xd 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 4094 vlanpcp: 0 parent interface: lagg0
lagg0_vlan12: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan12 prefixlen 64 scopeid 0xe 
        inet 172.16.12.1 netmask 0xffffff00 broadcast 172.16.12.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 12 vlanpcp: 0 parent interface: lagg0
lagg0_vlan16: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan16 prefixlen 64 scopeid 0xf 
        inet 172.16.16.1 netmask 0xffffff00 broadcast 172.16.16.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 16 vlanpcp: 0 parent interface: lagg0
lagg0_vlan15: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan15 prefixlen 64 scopeid 0x10 
        inet 172.16.15.1 netmask 0xffffff00 broadcast 172.16.15.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 15 vlanpcp: 0 parent interface: lagg0
lagg0_vlan18: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan18 prefixlen 64 scopeid 0x11 
        inet 172.16.18.1 netmask 0xffffff00 broadcast 172.16.18.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 18 vlanpcp: 0 parent interface: lagg0
lagg0_vlan19: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan19 prefixlen 64 scopeid 0x12 
        inet 172.16.19.1 netmask 0xffffff00 broadcast 172.16.19.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 19 vlanpcp: 0 parent interface: lagg0
lagg0_vlan20: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan20 prefixlen 64 scopeid 0x13 
        inet 172.16.20.1 netmask 0xffffff00 broadcast 172.16.20.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 20 vlanpcp: 0 parent interface: lagg0
lagg0_vlan21: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan21 prefixlen 64 scopeid 0x14 
        inet 172.16.21.1 netmask 0xffffff00 broadcast 172.16.21.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: active
        vlan: 21 vlanpcp: 0 parent interface: lagg0
pppoe0: flags=88d1 <up,pointopoint,running,noarp,simplex,multicast>metric 0 mtu 1492
        inet 146.60.214.168 --> 146.60.212.1 netmask 0xffffffff 
        inet6 fe80::20d:b9ff:fe3e:b229%pppoe0 prefixlen 64 scopeid 0x15 
        nd6 options=21<performnud,auto_linklocal></performnud,auto_linklocal></up,pointopoint,running,noarp,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></active,collecting,distributing></active,collecting,distributing></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></performnud,auto_linklocal></rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6></up,loopback,running,multicast></promisc></full-duplex></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></full-duplex></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></full-duplex></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast>

Ich habe da nun noch einiges zu testen und werde im Erfolgsfall diesen Thread noch auf 'Gelöst' setzen oder weitere dumme Fragen stellen, wenn notwendig. Vielleicht auch etwas Feedback zur Performance der APU…

Bis hierhin schon mal vielen herzlichen Dank an alle Beteiligten! :)

cu, fork

JeGr

Ich habe da nun noch einiges zu testen und werde im Erfolgsfall diesen Thread noch auf 'Gelöst' setzen oder weitere dumme Fragen stellen, wenn notwendig. Vielleicht auch etwas Feedback zur Performance der APU…

Super! Halt uns auf dem Laufenden. Aber die Quintessenz ist, dass der Konfigurationsimport von 2.1.x auf 2.2.x durchaus funktioniert hat, durch Probleme mit dem LACP Bond aber dir reingegrätscht ist. Damit läuft aber die Konfig-Import Teil immerhin so ab, wie wir uns das gedacht haben, was ja schonmal schön ist :)

fork

@JeGr:

Aber die Quintessenz ist, dass der Konfigurationsimport von 2.1.x auf 2.2.x durchaus funktioniert hat, durch Probleme mit dem LACP Bond aber dir reingegrätscht ist.

Ich denke, dass das so korrekt ist.

Hier die Unterschiede, die ich an der exportierten Konfiguration von der Alix geändert habe, damit es in die APU importiert werden kann:

diff config-2.1.5-2d13.xml config-2.1.5-apu1d4.xml 
198c198
<               <serialspeed>9600</serialspeed>
---
>               <serialspeed>115200</serialspeed>
2730c2730
<                       <ports>vr1</ports>
---
>                       <ports>re1</ports>
2739c2739
<                       <members>vr0,vr2</members>
---
>                       <members>re0,re2</members>

Zum einen war es die Umbennenung der Interfaces, welche vermutlich durch das Upgrade von freeBSD bedingt ist.
Zum anderen die Parametrisierung für die serielle Konsole, welche wahrscheinlich Hardware-bedingt ist.

Bei beidem kann ich im Nachhinein nicht mehr verlässlich sagen, ob das auch zwingend notwendig ist.

Ganz nebenbei hat sich dadurch auch geklärt, warum es mir in der Vergangenheit nicht gelungen ist, die bestehende Installation zu aktualisieren. Auch dort dürfte ich an dem LACP-Problem gescheitert sein, jedenfalls gab es dort die selben Symptome.

JeGr

Bei beidem kann ich im Nachhinein nicht mehr verlässlich sagen, ob das auch zwingend notwendig ist.

Jup ist es. Die APU kommt BIOS seitig mit 115200 statt 9600 an, deshalb gut so. Außerdem sind Realtek NICs verbaut, deshalb die Änderung von vr0/1/2 auf re0/1/2. Passt. :)

fork

Moin *,

ich wollte noch testen und Feedback geben. Was soll ich sagen: Läuft alles wunderbar!

Nach 4 Tagen Produktivbetrieb keine Mätzchen. Ich habe Ausfall-Funktionalität von LACP getestet (Kabel im Betrieb abgezogen), die Stabilität des openVPN-Servers getestet, ein Upgrade auf 2.2.5 gemacht und etwas mit dem UI rumgespielt (scheinen ein paar nette Widgets hinzugekommen zu sein seit 2.1.5). Alles gut.

Zur Hardware wurde hier (https://forum.pfsense.org/index.php?topic=73885.0) ja schon viel geschrieben.

Ist im Vergleich zur ALIX 2D13 deutlich fixer beim UI und dürfte erhebliche Leistungsreserven haben. Das ist in meinem Fall wichtig, weil die pfSense die VLANs aufzieht und alle Pakete zwischen den Subnetzen da durch müssen. Und da war die ALIX 2D13 mit ihren 100Mbit ein Flaschenhals.

Sehr gut gefällt mir, dass das Board in der Lage ist, von USB und SD-Card zu booten. Das vereinfacht vieles und erweitert das Einsatzszenario. Die 2D13 konnte das AFAIK nicht.

Mein persönliches Schmankerl sind die beiden Ton-Sequenzen, die das Board beim Booten und Runterfahren von sich gibt. Süß irgendwie…

Negativ aufgefallen ist mir lediglich das Standard-Gehäuse, welches keinen Slot für die SD-Card bietet. Ohne zu Schrauben kommt man da nicht mehr ran.

Mehr weiß ich tatsächlich nicht zu schreiben. Vielen Dank noch mal!

cu, fork

JeGr

Super, freut mich sehr!

fork

@fork:

Vielleicht auch etwas Feedback zur Performance der APU…

Vielleicht ist das hier noch für andere interessant: In meinem Kontext bedeutet ein Voll-Backup größten Streß für die Firewall, weil ein großer Haufen Daten dann vom einen VLAN in das andere geschoben werden.

Hier die Auslastung der alten Alix 2D13:

last pid: 66833;  load averages:  4.35, 10.52, 21.87                                 up 98+01:35:18  21:38:04
49 processes:  6 running, 43 sleeping
CPU:  0.0% user, 17.0% nice, 22.4% system, 60.6% interrupt,  0.0% idle
Mem: 61M Active, 7732K Inact, 59M Wired, 252K Cache, 33M Buf, 102M

Im Vergleich dazu die APU1d4:

last pid: 44467;  load averages:  0.64,  0.43,  0.43                                   up 3+18:03:53  15:19:10
39 processes:  1 running, 38 sleeping
CPU:  6.6% user,  0.0% nice, 14.3% system, 18.6% interrupt, 60.5% idle
Mem: 10M Active, 84M Inact, 140M Wired, 821M Buf, 3678M

fork

@fork:

Nachdem klar war, dass es irgendein Problem mit dem auf dem produktiven Switch konfigurierten LACP gibt, habe ich einen kleinen 8-Port 'Netgear GS 108T' für LACP auf Port 1+2 konfiguriert. Damit funktionierte dann das LAN sofort!
Weil ich mich mit der Konfiguration von LACP auf dem produktiven Switch 'Foundry Networks FastIron FWS 624G' noch etwas schwer tue (bin kein Profi), habe ich etwas geschummelt und den Port 3 (Netgear) mit allen VLANs getagged konfiguriert und an den bislang für die pfsense vorgesehenen Port an dem 'Foundry'-Switch geklemmt.
Im Endeffekt habe ich jetzt zwei hintereinandergeschaltete Switches, wobei der erste (Netgear) LACP auf zwei Ports macht und über einen Port an den zweiten 'foundry' angeschlossen ist. Damit läuft es jetzt scheinbar rund.

Ja, ich weiß, dass das so noch Mist ist! Nächster Schritt sollte woll sein, LACP auf dem 'Foundry' sauber zu konfigurieren und die pfsense dann direkt dort redundant anzuschliessen.

Nur zur Vollständigkeit - die Konfiguration für LACP auf dem 'Foundry'-Switch sieht so aus:


switch3#configure terminal

switch3(config-vlan-10)#interface ethernet 0/1/1 to 0/1/2
switch3(config-mif-0/1/1-0/1/2)#link-aggregate off
switch3(config-mif-0/1/1-0/1/2)#link-aggregate configure key 10000
switch3(config-mif-0/1/1-0/1/2)#link-aggregate active
switch3(config-mif-0/1/1-0/1/2)#exit

switch3#show link-aggregate
System ID: 001b.ed93.4b00
Long  timeout: 90, default: 90
Short timeout: 3, default: 3
Port   [Sys P] [Port P]  [ Key ] [Act][Tio][Agg][Syn][Col][Dis][Def][Exp][Ope]
0/1/1       1        1     10000  Yes   S   Agg  Syn  Col  Dis  Def  No   Dwn
0/1/2       1        1     10000  Yes   S   Agg  Syn  Col  Dis  Def  No   Dwn

Scheint prima zu funktionieren.
TNX

cu, fork