Multiple WAN ESXi 5.1 bei Hetzner pfsense 2.03 nicht mehr erreichbar

kallegr

Hallo,

ich habe bei Hetzner einen ESXi gemietet.

Dort habe ich 4 öffentliche IP-Adressen

1. Adresse 1.2.3.1 (hat der ESXi bekommen)

2. Adresse: 1.2.7.2/29 (WAN pfsense (WAN))
3. Adresse: 1.2.7.3/29 (WAN2 pfsense (OPT3))
4. Adresse: 1.2.7.4/29 (WAN3 pfsense (OPT4))

Da eigentlich alle Adressen an den Host (ESXi) gebunden sind, habe ich bei Hetzner natürlich die speziellen Mac-Adressen bestellt und an die 3 WAN Netzwerkkarten der pfSense VM gebunden.

WAN habe ich static konfiguriert, das wollte ich auch mit der 2. und 3. Schnittstelle, aber beim Speichern ist pfSense nicht mehr erreichbar. Dann habe ich WAN2 und WAN3 auf DHCP gestellt und es funktioniert kurzzeitig problemlos. Bis irgendwann die pfSense nicht mehr erreichbar ist.

Im Log finde ich nur: kernel: arpresolve: can't allocate llinfo for 1.2.7.1 (das ist der Gateway für alle 3 WAN-IPs).

IP Alias / Proxy ARP und Co. funktionieren leider nicht, da Hetzner die IP-Adressen an die MAC-Adressen bindet.. ;(

Was mache ich falsch?

Vielen Dank

Gruß, Kalle

flix87

sind regeln auf den interfaces eingerichtet?
Wenn nicht wird ja per Default alles geblockt.

kallegr

@flix87:

sind regeln auf den interfaces eingerichtet?
Wenn nicht wird ja per Default alles geblockt.

Welche Regeln werden denn benötigt? Es funktioniert ja kurzzeitig. (Einige Minuten). Kann es dann an FW-Regeln liegen? Dann dürfte es doch nie funktonieren, oder?

kallegr

Wenn ich per Konsole eines der Netzwerkinterfaces (WAN2 oder WAN3) auf None (statt DHCP) stelle, geht es wieder ein paar Minuten.

Ich weiss nicht, ob das Problem darin liegt, dass alle 3 WAN-Interfaces das gleiche Gateway haben? Wenn von internen Netzwerken (z.B.) LAN Traffic nach draußen geht, muss der ja irgendwie entscheiden, ob der über WAN1,2 oder 3 rausgeht.

Unter System/Routing stehen z.B. 3 mal die selben Gateways drin. (für die 3 WAN).

JeGr

Grüße,

also bei Hetzner hast du Einzel-IPs bestellt? Kein kleines /29er Netz? Ist das sicher? Denn so wie das aussieht, könnte es auch sein, dass Hetzner dir das /29er auf die ESXi Adresse geroutet hat. Dann wäre das viel einfacher.

Bei meinem alten Setup dass wir letztes Jahr abgebaut haben, hatte der ESXi (Hypervisor) eine Adresse, die pfSense bekam noch eine zweite mit eigener MAC. Die restlichen Adressen (damals ein /26er) wurde dann auf die zweite IP der Sense geroutet so dass man ganz normal IP Aliase oder 1:1 NAT oder routen kann.

Ich denke in deinem Fall könnte das dämliche Hetzner Setup mit MAC->IP Adresse etc. das Problem sein, denn alle IPs haben das gleiche Gateway (die .1 mutmaßlich) und wenn du dann mehrere WANs im !gleichen! IP Netz mit gleichem Gateway einrichtest, fliegt dir das Routing-technisch natürlich hochkant um die Ohren.

Grüße
Jens

kallegr

@JeGr:

Grüße,

also bei Hetzner hast du Einzel-IPs bestellt? Kein kleines /29er Netz? Ist das sicher? Denn so wie das aussieht, könnte es auch sein, dass Hetzner dir das /29er auf die ESXi Adresse geroutet hat. Dann wäre das viel einfacher.

Bei meinem alten Setup dass wir letztes Jahr abgebaut haben, hatte der ESXi (Hypervisor) eine Adresse, die pfSense bekam noch eine zweite mit eigener MAC. Die restlichen Adressen (damals ein /26er) wurde dann auf die zweite IP der Sense geroutet so dass man ganz normal IP Aliase oder 1:1 NAT oder routen kann.

Ich denke in deinem Fall könnte das dämliche Hetzner Setup mit MAC->IP Adresse etc. das Problem sein, denn alle IPs haben das gleiche Gateway (die .1 mutmaßlich) und wenn du dann mehrere WANs im !gleichen! IP Netz mit gleichem Gateway einrichtest, fliegt dir das Routing-technisch natürlich hochkant um die Ohren.

Grüße
Jens

Danke! Genau das ist mein Problem. Die Einzel-IPs haben alle das gleiche Gateway. ;( Oh man… Hast du ne Idee, wie man das lösen kann?

Unter Linux soll da was mit macvlan gehen: http://www.bertera.it/index.php/2011/10/04/howto-configure-multiple-mac-address-over-a-single-ethernet-interface/

Aber wie macht man das mit der pfSense?

JeGr

Sehr Schwierig. Mit deiner jetzigen Konstellation eigentlich gar nicht machbar, denn die Lösung für IP ist auch ein böser Hack, da ein Interface eigentlich keine unterschiedlichen MAC Adressen halten sollte. Da Hetzner das auch noch auf den Switches entsprechend kontrolliert und erzwingt, kann man sich da ganz übel an die Wand fahren.

Die einzige Frage ist: brauchst du die anderen beiden IPs bzw. brauchst du 2-6 öffentliche IPs? Wenn ja, ist die einzig sinnvolle Möglichkeit, von den 3 zusätzlichen Adressen 2 zu kündigen. Die eine die funktioniert behältst du und orderst ein /29er IPv4 Subnetz. Ich weiß, das ist teurer als 2-3 einzelne IPs, aber dafür ist die Handhabung ein Hundertfaches einfacher. Bei der Bestellung eines kleinen IPv4 Ranges kannst du nämlich angeben, dass dieser bitte auf die vorhandene zusätzliche IP geroutet werden soll (die ja funktioniert). Anschließend kannst du das Mini-Netz dann nach gusto vergeben. Entweder in eine Art DMZ oder du machst bspw. 1:1 NAT oder VIPs auf dem WAN Interface. Das bleibt dann dir überlassen. Am Sinnvollsten, da man ja noch ein v6 Netz dazubekommt, wäre z.B. in einem relativ einfachen Setup, dass du intern für die VMs für v4 interne Adressen nimmst (10.10.10.x bspw.) und die Maschinen die wirklich extern erreichbar sein müssen per 1:1 NAT bedienst. Gleichzeitig kannst du jeder Kiste eine v6 Adresse aus dem Hetzner Netz verpassen (pfSense 2.1 vorausgesetzt) indem du das auch entsprechend auf der Sense auflegst.

Anders wird es höchstens eine Wanderbaustelle mit Einsturzgefahr, denn "sauber" bleibt sonst nur der Weg ganz ohne Routing-VM. Dann hat man aber weder vor dem ESXi noch vor den VMs eine Firewall, sondern muss das selbst auf der Maschine erledigen, was mir persönlich nicht ganz so gut gefällt. Dann könnte man aber mit den 3 Einzel-IPs leben, denn diese kann man via Interface Bridging dann der VM direkt zuweisen (sprich, der VM wird die MAC und IP von Hetzner auf dem Bridge Interface zugewiesen).

kallegr

Ich hatte mich jetzt fast ein Jahr nicht mehr eingeloggt. Danke für die Antwort! Sorry für die späte Rückmeldung!

Ich habe es zwischenzeitlich folgendemaßen ~~gelöst~~ gemacht:

Mehrere virtuelle Netzwerkkarten:

WAN: IP 1.2.7.2 /29
GW: 1.2.7.1
WAN2: IP 1.2.7.3 /32
GW: none
WAN3: IP 1.2.7.4 /32
GW: none

Das bewirkt, dass ich alle 3 öffentlichen IPs nutzen kann. pfsense routet dann alles über den Default-GW: 1.2.7.1 nach draußen und verwendet dann scheinbar auch die MAC von WAN.

Es klappt also! Keine Ahnung, warum ich das nicht mal direkt getestet habe.. über Konsole hätte ich das ja genauso konfiguriert.. Aber sobald eine GUI dazukommt, setzt das Hirn aus.. ;)

VG

@JeGr:

Sehr Schwierig. Mit deiner jetzigen Konstellation eigentlich gar nicht machbar, denn die Lösung für IP ist auch ein böser Hack, da ein Interface eigentlich keine unterschiedlichen MAC Adressen halten sollte. Da Hetzner das auch noch auf den Switches entsprechend kontrolliert und erzwingt, kann man sich da ganz übel an die Wand fahren.

Die einzige Frage ist: brauchst du die anderen beiden IPs bzw. brauchst du 2-6 öffentliche IPs? Wenn ja, ist die einzig sinnvolle Möglichkeit, von den 3 zusätzlichen Adressen 2 zu kündigen. Die eine die funktioniert behältst du und orderst ein /29er IPv4 Subnetz. Ich weiß, das ist teurer als 2-3 einzelne IPs, aber dafür ist die Handhabung ein Hundertfaches einfacher. Bei der Bestellung eines kleinen IPv4 Ranges kannst du nämlich angeben, dass dieser bitte auf die vorhandene zusätzliche IP geroutet werden soll (die ja funktioniert). Anschließend kannst du das Mini-Netz dann nach gusto vergeben. Entweder in eine Art DMZ oder du machst bspw. 1:1 NAT oder VIPs auf dem WAN Interface. Das bleibt dann dir überlassen. Am Sinnvollsten, da man ja noch ein v6 Netz dazubekommt, wäre z.B. in einem relativ einfachen Setup, dass du intern für die VMs für v4 interne Adressen nimmst (10.10.10.x bspw.) und die Maschinen die wirklich extern erreichbar sein müssen per 1:1 NAT bedienst. Gleichzeitig kannst du jeder Kiste eine v6 Adresse aus dem Hetzner Netz verpassen (pfSense 2.1 vorausgesetzt) indem du das auch entsprechend auf der Sense auflegst.

Anders wird es höchstens eine Wanderbaustelle mit Einsturzgefahr, denn "sauber" bleibt sonst nur der Weg ganz ohne Routing-VM. Dann hat man aber weder vor dem ESXi noch vor den VMs eine Firewall, sondern muss das selbst auf der Maschine erledigen, was mir persönlich nicht ganz so gut gefällt. Dann könnte man aber mit den 3 Einzel-IPs leben, denn diese kann man via Interface Bridging dann der VM direkt zuweisen (sprich, der VM wird die MAC und IP von Hetzner auf dem Bridge Interface zugewiesen).