[Gelöst] Migration von 2.1.3 nach 2.2.4 bei gleichzeitigem Hardware-Wechsel

[JeGr]

@fork: War das BEVOR oder NACHDEM du das XML File mal editiert hattest um die alten Interfaces durch neue zu tauschen?

Ich habe etwas ähnliches auch schon erfolgreich durchgeführt. Bei mir war es ein CARP Setup, welches auf 2 unterschiedlichen Maschinen läuft (ein Supermicro und eine APU). Da diese auch unterschiedliche Interfaces haben, habe ich da auch Suchen & Ersetzen gemacht und das Einspielen lief auf der APU problemlos. Solange es re0/1/2 sind und keine 3 dabei ist (die SuperMicro Kiste hat 4 Interfaces) lief das alles gut und auch VLANs etc. sind sauber aufgesetzt. Evtl. musst du deine ALIX Konfiguration nochmal ziehen, editieren und durchsehen und dann auf einer Neuinstallation nochmal einspielen? Ich würde die APU mal neu installieren nach dem verunglückten Versuch, nicht dass da intern Settings kleben geblieben sind.

Andere Problemstellung könnte sein, dass er zusätzlich zur Konfiguration einlesen auch noch konvertieren muss (2.1.4 auf 2.2.4). Evtl. wäre es hier eine Hilfe, wenn du die ALIX erstmal auf 2.2.4 updatest bevor du den Hardware Sprung machst, damit die Config schon auf dem aktuellen Stand ist.

Grüße

[fork]

@JeGr:

@fork: War das BEVOR oder NACHDEM du das XML File mal editiert hattest um die alten Interfaces durch neue zu tauschen?

Das war davor. Der komplette erste Post bezieht sich auf den Versuch, die unveränderte XML-Datei im ganzen zu importieren.

@JeGr:

Evtl. musst du deine ALIX Konfiguration nochmal ziehen, editieren und durchsehen und dann auf einer Neuinstallation nochmal einspielen? Ich würde die APU mal neu installieren nach dem verunglückten Versuch, nicht dass da intern Settings kleben geblieben sind.

Ich muss sowieso nach jedem missglückten Import eine komplette Neuinstallation durchführen, weil danach die Büchse nicht mehr bootet.

@JeGr:

Andere Problemstellung könnte sein, dass er zusätzlich zur Konfiguration einlesen auch noch konvertieren muss (2.1.4 auf 2.2.4). Evtl. wäre es hier eine Hilfe, wenn du die ALIX erstmal auf 2.2.4 updatest bevor du den Hardware Sprung machst, damit die Config schon auf dem aktuellen Stand ist.

Daran habe ich auch schon gedacht. Wo finde ich die passenden Images für die Installation der älteren Versionen?
TNX

EDIT: Oh, habe Dich missverstanden, sorry. Ich dachte daran, auf der neuen Hardware erst mal die Release 2.1.5 zu installieren - in der Hoffnung, dass die Konfigurationsübernahme dort besser klappt, weil dann kein Versionssprung vorhanden ist. Das hätte den Vorteil, dass ich die produktive Firewall nicht anfassen muss…

[JeGr]

Puh du könntest ggf. auf den Mirrors nachsehen, ob da irgendwo noch die 2.1.x in der Version die du benötigst herumliegt, aber da bin ich überfragt. Ist auf der ALIX eine Vollinstallation am Laufen? Sonst hast du ja als Fallback noch den anderen Slice auf der CF Karte.

Unverändert wirst du wie gesagt die Konfiguration nicht importieren können, da sich die Schnittstellen und Zuordnungen ändern. Deshalb würde ich das im XML patchen wie es gebraucht wird.

[fork]

@fork:

Wo finde ich die passenden Images für die Installation der älteren Versionen?

Müsste wohl das hier sein:
http://files.ie.pfsense.org/mirror/downloads/old/pfSense-LiveCD-2.1.5-RELEASE-amd64.iso.gz

[JeGr]

Das sieht valide aus. Wäre einen Versuch wert, allerdings sind die APUs unter 2.1.x noch ein wenig kniffliger gewesen (noch keine 115200 Baud default beim Booten etc.), also einen Blick auf doc.pfsense.org werfen.

[fork]

@JeGr:

Ist auf der ALIX eine Vollinstallation am Laufen? Sonst hast du ja als Fallback noch den anderen Slice auf der CF Karte.

Dort läuft das nano-Image auf CF-Karte. Natürlich könnte ich davon zuvor ein Image ziehen und könnte dadurch jederzeit verlässlich auf den alten Stand zurück, aber in dieser Zeit wäre das Netzwerk hier komplett lahmgelegt.
Ich glaube, ich probiere zuvor mal den anderen Weg mit der Installation von 2.1.5 auf der neuen Hardware…

[JeGr]

Brauchst du doch gar nicht? Wenn das Upgrade schief läuft, kannst du doch jederzeit den anderen Slice wieder booten?

[fork]

@JeGr:

Wäre einen Versuch wert, allerdings sind die APUs unter 2.1.x noch ein wenig kniffliger gewesen (noch keine 115200 Baud default beim Booten etc.), also einen Blick auf doc.pfsense.org werfen.

Hast Du dafür einen Link? Ich finde nur Hinweise zur Installation der aktuellen Release.

Die Installation von 2.1.5 kommt nicht in die Gänge:

fork@j2:~> sha256sum /tmp/pfSense-LiveCD-2.1.5-RELEASE-amd64.iso.gz 
e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855  /tmp/pfSense-LiveCD-2.1.5-RELEASE-amd64.iso.gz

fork@j2:~> gzip -d /tmp/pfSense-LiveCD-2.1.5-RELEASE-amd64.iso.gz 

j2:~ # dd if=/tmp/pfSense-LiveCD-2.1.5-RELEASE-amd64.iso of=/dev/sdc bs=1M
218+1 records in
218+1 records out
228943872 bytes (229 MB) copied, 49.9464 s, 4.6 MB/s

Installation startet nicht:

Total memory 4096 MB
AMD G-T40E Processor
CPU MHz=1000
USB MSC blksize=512 sectors=7864320
Press F10 key now for boot menu:
Select boot device:

1\. USB MSC Drive General USB Flash Disk 1100
2\. AHCI/0: SATA SSD ATA-10 Hard-Disk (15272 MiBytes)
3\. Payload [setup]
4\. Payload [memtest]

drive 0x000f2a60: PCHS=0/0/0 translation=lba LCHS=975/128/63 s=7864320
drive 0x000f2a90: PCHS=16383/16/63 translation=lba LCHS=1024/255/63 s=31277232
Booting from Hard Disk...
Boot failed: not a bootable disk

Booting from CBFS...
Run img/setup
No extension-based loader found

Kann man nicht sehen, aber ich hatte '1' für USB-Stick ausgewählt.

[JeGr]

Es kann gut sein, dass das alte LiveCD Image nicht für USB Sticks gedacht war und deshalb nicht sauber bootet.

Nochmal: Was spricht dagegen, 2.2.4 auf der Live Kiste zu installieren? Das zweite BootSlice ist doch dein Rettungsanker um wieder zurück auf 2.1.5 zu fahren, sollte was schiefgehen? Oder übersehe ich was?

[fork]

@JeGr:

Es kann gut sein, dass das alte LiveCD Image nicht für USB Sticks gedacht war und deshalb nicht sauber bootet.

Hhmm, das wär ja doof…
Vielleicht besser das hier:
pfSense-memstick-serial-2.1.5-RELEASE-amd64.img.gz
?

@JeGr:

Nochmal: Was spricht dagegen, 2.2.4 auf der Live Kiste zu installieren?

Die Offtime des Netzwerkes in dieser Zeitspanne.

[JeGr]

Memstick war m.W. tatsächlich die korrekte Variante für USB Sticks.

Die Offtime des Netzwerkes in dieser Zeitspanne.
Abends/Nachts tatsächlich ein Problem? OK wenns natürlich so heiß ist, hoffe ich dass die Memstick Variante bootet :)

[fork]

@fork:

pfSense-memstick-serial-2.1.5-RELEASE-amd64.img.gz

Die bootet ebenfalls nicht.

Sorry, bin platt. Für heute ist Schluss…
TNX

[fork]

Neues Spiel, neues Glück…

Ich habe keinen Schimmer, warum sich die Release 2.1.5 nicht auf der apu1d4 installieren läßt, und scheinbar hat hier auch keiner den rettenden Einfall. Es ist auch nicht so einfach, die Dokumentation für speziell diese ältere Version zu finden.

Also lasse ich das erstmal sein und versuche den anderen Weg wie von JeGr vorgeschlagen, die aktuelle Release auf der alten Hardware ans Fliegen zu bringen, um dann die Konfiguration dort zu importieren und danach den Weg auf die neue Hardware zu gehen. Hierzu habe ich eine zweite Alix 2D13 als Referenz herausgekramt, mit der ich testen kann.

Installation:

j2:~ # sha256sum /tmp/pfSense-2.2.4-RELEASE-4g-i386-nanobsd.img.gz
563331e485992e3b6591b2e7ecdf87d32fd6a45a7837e01391dd3c4b6be17de9  /tmp/pfSense-2.2.4-RELEASE-4g-i386-nanobsd.img.gz
j2:~ # gzip -d /tmp/pfSense-2.2.4-RELEASE-4g-i386-nanobsd.img.gz                                                                                             
j2:~ # dd if=/tmp/pfSense-2.2.4-RELEASE-4g-i386-nanobsd.img of=/dev/sdc bs=1M                                                         

Die Installation verläuft erfolgreich:

*** Welcome to pfSense 2.2.4-RELEASE-nanobsd (i386) on pfSense ***

 WAN (wan)       -> vr1        -> 
 LAN (lan)       -> vr2        -> v4: 192.168.1.1/24

BTW: Meine Fresse, ist das im Abschluss der Konfiguration im Web-Interface ein riesiger Performance-Unterschied. Im Vergleich zur neuen Hardware tröpfeln die Pixel von der Alix geradezu herein!

Jetzt kommt der interessante Teil: Import der Konfiguration vom Produktivsystem…

Beim Import kommt diese (schon bekannte) Fehlermeldung:

Warning: Invalid argument supplied for foreach() in /etc/inc/upgrade_config.inc on line 3610 Warning: Cannot modify header information - headers already sent by (output started at /etc/inc/upgrade_config.inc:3610) in /usr/local/www/diag_backup.php on line 552 

Auch hier das selbe Bild wie zuvor: Interfaces: Assign network ports

Interface mismatch detected. Please resolve the mismatch and click 'Apply changes'. The firewall will reboot afterwards.

Ich sehe alle VLANs, Interfaces und Rules vom Produktivsystem, aber das war zuvor ja auch schon so.

Ein Reboot zeigt nur noch Müll auf der seriellen Konsole und das Web-Interface ist weder über die Standard-IP noch über die gewünschte 172.16.10.1 erreichbar. Das war wohl nix…  :(

[fork]

Die Fehlermeldung beim Import scheint egal zu sein:
https://www.reddit.com/r/PFSENSE/comments/3fqrvl/problem_restoring_config_from_214_to_224/

Aber welches 'Interface mismatch' könnte da gemeint sein und wie könnte ich das beheben?

[JeGr]

Ein Reboot zeigt nur noch Müll auf der seriellen Konsole

Das könnte der unterschiedlichen Baudrate geschuldet sein. Auf was ist die alte Alix und Config eingestellt? 9600-8N1? 19200-8N1? Version 2.2.5 läuft default mit 115200-8-N-1, deshalb kann der Buchstabensalat daher kommen.

IM Normalfall sollte bei einem Interface Mismatch das Consolen Menü via Serial kommen mit der Option LAN/WAN/OPT1 manuell zuzuweisen.

Grüße

[Guest]

Aber welches 'Interface mismatch' könnte da gemeint sein und wie könnte ich das beheben?

Die Interfaces haben andere Namen bei der APU hier ist ein anderer Beitrag aus einem anderen Forum
wo jemand das selbe Problem hatte. pfSense auf APU

[fork]

@BlueKobold:

Die Interfaces haben andere Namen bei der APU hier ist ein anderer Beitrag aus einem anderen Forum wo jemand das selbe Problem hatte.

TNX. Das hatte ich aber schon für die APU adressiert:
@fork:

Ich habe versucht, die XML-Datei für den Restore von Hand zu editieren. Dabei habe ich die Vorkommen von 'vrX' durch 'reX' ersetzt. Die MAC-Adressen der Ports waren nicht in dem Backup enthalten - das war eigentlich meine größte Hoffnung.

Gebracht hat das leider nix…

Und die letzten Versuche zeigten, dass das Problem bei einer baugleichen ALIX als Zielsystem genau so auftritt.

[fork]

@JeGr:

IM Normalfall sollte bei einem Interface Mismatch das Consolen Menü via Serial kommen mit der Option LAN/WAN/OPT1 manuell zuzuweisen.

TNX. Ich habe das versucht, wieder auf der APU mit der hinsichtlich der Interface-Namen angepassenten XML-Konfiguration. Nach dem Import der Konfiguration versuchte ich, das Interface zuzuzweisen.

In meinem Fall sollte das LAN-Interface 'lagg0' sein, aber das steht nicht zur Auswahl:

Enter an option: 1

Valid interfaces are:
00:0d:a8:17:b2:28
re0    00:0d:a8:17:b2:28 (down) RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet
re1    00:0d:a8:17:b2:29   (up) RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet
re2    00:0d:a8:17:b2:30   (up) RealTek 8168/8111 B/C/CP/D/DP/E/F/G PCIe Gigabit Ethernet

Do you want to set up VLANs first? 

If you are not going to use VLANs, or only for optional interfaces, you should
say no here and use the webConfigurator to configure VLANs later, if required.

Do you want to set up VLANs now [y|n]? n

VLAN interfaces:

lagg0_vlan10    VLAN tag 10, parent interface lagg0
lagg0_vlan11    VLAN tag 11, parent interface lagg0
lagg0_vlan13    VLAN tag 13, parent interface lagg0
lagg0_vlan14    VLAN tag 14, parent interface lagg0
lagg0_vlan4094  VLAN tag 4094, parent interface lagg0
lagg0_vlan12    VLAN tag 12, parent interface lagg0
lagg0_vlan16    VLAN tag 16, parent interface lagg0
lagg0_vlan15    VLAN tag 15, parent interface lagg0
lagg0_vlan18    VLAN tag 18, parent interface lagg0
lagg0_vlan19    VLAN tag 19, parent interface lagg0
lagg0_vlan20    VLAN tag 20, parent interface lagg0
lagg0_vlan21    VLAN tag 21, parent interface lagg0

If you do not know the names of your interfaces, you may choose to use
auto-detection. In that case, disconnect all interfaces now before
hitting 'a' to initiate auto detection.

Enter the WAN interface name or 'a' for auto-detection: re1

Enter the LAN interface name or 'a' for auto-detection 
NOTE: this enables full Firewalling/NAT mode.
(or nothing if finished): lagg0

Invalid interface name 'lagg0'

Daraufhin habe ich versucht, die Link Aggregation über das Web-Interface zu ändern. Das zeigte mir aber initial schon das korrekte Bonding aus re0 + re2 an. Als ich das dann speicherte, war danach das Web-Interface unbrauchbar und nach einem reboot die Installation kaputt.

[fork]

Bin möglicherweise einen großen Schritt weiter gekommen. Die bisherigen Beobachtungen lassen mich einen Bug im Import von 2.2.4 vermuten.

Darum habe ich den Import von Release 2.2 auf der APU getestet, wieder mit der angepassten Konfigurationsdatei.

Tatsächlih sieht danach die Konfiguration deutlich besser aus:

*** Welcome to pfSense 2.2-RELEASE-pfSense (amd64) on pfsense ***

 WAN (wan)       -> pppoe0     -> v4/PPPoE: <xxx>VPN (lan)       -> ovpns2     -> 
 VLAN13 (opt1)   -> lagg0_vlan13 -> v4: 172.16.13.1/24
 VLAN11 (opt2)   -> lagg0_vlan11 -> v4: 172.16.11.1/24
 VLAN12 (opt3)   -> lagg0_vlan12 -> v4: 172.16.12.1/24
 VLAN14 (opt4)   -> lagg0_vlan14 -> v4: 172.16.14.1/24
 VLAN10 (opt5)   -> lagg0_vlan10 -> v4: 172.16.10.1/24
 VLAN16 (opt6)   -> lagg0_vlan16 -> v4: 172.16.16.1/24
 VLAN15 (opt7)   -> lagg0_vlan15 -> v4: 172.16.15.1/24
 VLAN18 (opt8)   -> lagg0_vlan18 -> v4: 172.16.18.1/24
 VLAN19 (opt9)   -> lagg0_vlan19 -> v4: 172.16.19.1/24
 VLAN20 (opt10)  -> lagg0_vlan20 -> v4: 172.16.20.1/24
 VLAN21 (opt11)  -> lagg0_vlan21 -> v4: 172.16.21.1/24</xxx> 

Das sieht schon mal sehr vielversprechend aus, auch nach einem Reboot.

Leider reicht das noch nicht, irgendwo steckt jetzt noch mindestens ein Fehler. Denn von der pfsense komme ich zwar raus, aber das komplette interne Netz scheint nicht zu funktionieren. So komme ich auch nicht auf das Web-Interface oder per SSH auf die pfsense.

[fork]

Ich versuche, die Ursache für das kaputte interne Netz herauszufinden. Dazu mache ich ein Diff zwischen der funktionierenden bestehenden Instanz (2.1.5@alix) und der kaputten neuen (2.2@apu). Auf beiden Systemen ist Link-Aggregation konfiguriert, es steckt aber nur ein Kabel in Port 're2' bzw. 'vr2'.

Funktionierende Instanz (2.1.5@alix):

ifconfig
[...]
vr2: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8280b <rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe27:baba%vr2 prefixlen 64 scopeid 0x3 
        nd6 options=3 <performnud,accept_rtadv>media: Ethernet autoselect (none)
        status: no carrier
enc0: flags=0<> metric 0 mtu 1536
pflog0: flags=100 <promisc>metric 0 mtu 33192
pfsync0: flags=0<> metric 0 mtu 1460
        syncpeer: 224.0.0.240 maxupd: 128 syncok: 1
lo0: flags=8049 <up,loopback,running,multicast>metric 0 mtu 16384
        options=3 <rxcsum,txcsum>inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x7 
        nd6 options=3 <performnud,accept_rtadv>lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8280b <rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate>ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ff:fe27:bab8%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=3 <performnud,accept_rtadv>media: Ethernet autoselect
        status: active
        laggproto lacp
        laggport: vr2 flags=0<>
        laggport: vr0 flags=1c <active,collecting,distributing>lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        ether 00:0d:b9:17:ca:ba
        inet6 fe80::20d:b9ef:fa28:a3b9%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255
        nd6 options=1 <performnud>media: Ethernet autoselect
        status: active
        vlan: 10 vlanpcp: 0 parent interface: lagg0
[...]</performnud></up,broadcast,running,simplex,multicast></active,collecting,distributing></performnud,accept_rtadv></rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,accept_rtadv></rxcsum,txcsum></up,loopback,running,multicast></promisc></performnud,accept_rtadv></rxcsum,txcsum,vlan_mtu,wol_ucast,wol_magic,linkstate></up,broadcast,running,simplex,multicast> 

Kaputte Instanz (2.2@apu):

ifconfig
[...]
re2: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:a8:17:b2:2a
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect (none)
        status: no carrier
pflog0: flags=100 <promisc>metric 0 mtu 33144
pfsync0: flags=0<> metric 0 mtu 1500
        syncpeer: 224.0.0.240 maxupd: 128 defer: on
        syncok: 1
lo0: flags=8049 <up,loopback,running,multicast>metric 0 mtu 16384
        options=600003 <rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6>inet 127.0.0.1 netmask 0xff000000 
        inet6 ::1 prefixlen 128 
        inet6 fe80::1%lo0 prefixlen 64 scopeid 0x6 
        nd6 options=21 <performnud,auto_linklocal>enc0: flags=0<> metric 0 mtu 1536
        nd6 options=21 <performnud,auto_linklocal>lagg0: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=8209b <rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate>ether 00:0d:a8:17:b2:2a
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0 prefixlen 64 scopeid 0x8 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: no carrier
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=0<>
        laggport: re0 flags=0<>
lagg0_vlan10: flags=8843 <up,broadcast,running,simplex,multicast>metric 0 mtu 1500
        options=3 <rxcsum,txcsum>ether 00:0d:a8:17:b2:2a
        inet6 fe80::20d:b9ff:fe3e:b228%lagg0_vlan10 prefixlen 64 scopeid 0x9 
        inet 172.16.10.1 netmask 0xffffff00 broadcast 172.16.10.255 
        nd6 options=21 <performnud,auto_linklocal>media: Ethernet autoselect
        status: no carrier
        vlan: 10 vlanpcp: 0 parent interface: lagg0
[...]</performnud,auto_linklocal></rxcsum,txcsum></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast></performnud,auto_linklocal></performnud,auto_linklocal></rxcsum,txcsum,rxcsum_ipv6,txcsum_ipv6></up,loopback,running,multicast></promisc></performnud,auto_linklocal></rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum,wol_magic,linkstate></up,broadcast,running,simplex,multicast>

Man beachte den LACP-Status:

        status: no carrier
        laggproto lacp lagghash l2,l3,l4
        laggport: re2 flags=0<>
        laggport: re0 flags=0<>

Ich vermute stark, dass hier der Hase im Pfeffer liegt. Hat jemand vielleicht einen Hinweis, was da schief laufen könnte???
TNX