Carp IP antwortet nicht auf ping

micneu

@Pittiplatsch fehlende Firewall Regel?

Pittiplatsch

@micneu, Hallo und danke für die Antwort. Die Firewall ist deaktiviert. Das hatte ich oben schon angemerkt. Die Host IP kann ich auch erreichen. Eine verzwickte Sache.

Viele Grüße

viragomann

@Pittiplatsch
Hast du die Besonderheiten zum virtualisierten Betrieb in den Docs berücksichtigt?

Pittiplatsch

@viragomann Hallo, nein hatte ich nicht beachtet. Ich habe den "hardware checksum offload" jetzt aber deaktiviert, das aber leider nichts gebracht. Den Rest muss ich später nochmal durchgehen, ich muss jetzt erstmal zur Arbeit.

Danke für den Denkanstoß und viele Grüße

patient0

@Pittiplatsch wenn Du schreibst, dass Du die Firewall ausgeschaltet hast, dann beziehst Du Dich auf die Einstellung

"System / Advanced / Firewall & NAT -> Disable Firewall : Disable all packet filtering" ?

Darf ich eine Frage zum Setup stellen? Du schreibst, dass die VMs je eine Netzwerkkarte haben, und diese ist im 172.16.91.0/24. Welchen Zweck hat die pfSense hier? Als Router mit nur einem Interface? Gibt es VLANs auf dem einen Interface?

Und zurück zum Thema: Wenn Du sagst, dass die Cluster IP aus dem Netzwerk nicht erreichbar ist, was ist in dem Falle der Klient/Netzwerk? Wie ist dieser mit den pfSense's verbunden, wie bekommt der Klient die IP und aus welchem Bereich. Sprich, läuft DHCP auf der pfSense?

JeGr

@Pittiplatsch said in Carp IP antwortet nicht auf ping:

@micneu, Hallo und danke für die Antwort. Die Firewall ist deaktiviert. Das hatte ich oben schon angemerkt. Die Host IP kann ich auch erreichen. Eine verzwickte Sache.

Welche Firewall ist denn wie deaktiviert? Das klingt nicht wirklich gut.

Dazu sonst die gleichen Fragen wie @patient0 - das klingt für mich auch irgendwie nach einem nicht ganz korrekten Einsatz/Aufbau in virtueller Umgebung. Dazu ACHTUNG bei VIRTUELL!

Virtuell heißt, du musst auch sicherstellen dass die ganzen Quirks von diversen Hypervisoren berücksichtigt sind. Das schrieb @viragomann schon weiter oben, deine Antwort mit dem Checksum offload las sich aber nicht so als hättest du das richtige Dok gelesen. Je nachdem welche Virtualisierung du da am Start hast, muss der virtual Switch korrekt konfiguriert werden. Ansonsten läuft das mit Multicast und CARP nicht sauber.

Da ist auch die Frage aus welchem Netz was nicht erreichbar ist. Ist 172.16.91 hinter diesem virtuellen Cluster? Davor? Daneben? Auch virtuell oder physisch? Da bräuchten wir bitte mehr Infos oder eine kurze Übersicht, wie das überhaupt gebaut ist. Da kann es an einigen Stellen jetzt gerade klemmen, die ggf. gar nichts mit pfSense zu tun haben (oder nur marginal).

Cheers

Pittiplatsch

@patient0

Hallo patient0,

ich entschuldige mich, dass meine Antwort so lange auf sich warten ließ, ich war gestern unterwegs.

Die Frage nach dem Sinn eines Routers mit nur einer Netzwerkkarte ist natürlich berechtigt. Das eigentliche Ziel ist es einen VPN- Server der in der DMZ steht aufzubauen. Der Grund für die Nutzung von pfsense ist die komfortable Oberfläche.

Ja, mit "Firewall ausgeschaltet" meine ich die Einstellung die Du oben beschrieben hast. VLANs sind keine konfiguriert. Die IP ist auf den beiden VM statisch konfiguriert. VM1 hat die IP 172.16.91.15/24 und VM2 hat die IP 172.16.91.16/24. Diese beiden IP- Adressen kann ich mit ping erreichen. Unter "Firewall/Virtual IPs" habe ich eine virtuelle IP (172.16.91.20/24) vom Type Carp eingerichtet und unter "System/High Availability" die HA konfiguriert. Nach einem Neustart der beiden VMs funktioniert das Handover auch einwandfrei. Wenn ich den Master abschalte wandert die Clusteradresse auf den Slave und wieder zurück. Wenn ich auf der Maschine die die Cluster IP hat angemeldet bin und die Cluster IP pinge, antwortet sie auch auf ping. Nur von der anderen VM oder vom Gateway aus kann ich die Cluster IP nicht erreichen. Ein derartiges verhalten habe ich noch nicht gesehen.

Viele Grüße

Pittiplatsch

@JeGr
Hallo JeGr, danke für Deine Rückmeldung. Du hast Recht, ich hatte die Doku über den Betrieb mit VM- Ware vorher nicht gelesen weil mir nicht bewusst war das es eine solche Doku gibt.

Ich habe sie mir jetzt angeschaut und festgestellt, es ist alles wie in der Doku. Ich habe einen Prozessor verwendet und den Netzwerkadapter vom Typ VMXNET3 verwendet. Den Maschinentyp habe ich auf Version 8 eingestellt. Ich kann mir aber nicht vorstellen, dass das ein Problem ist.

Den Aufbau habe ich in der Antwort an patient0 nochmal beschrieben und hier ist eine Skizze abgelegt.

patient0

@Pittiplatsch ok, die beiden pfSense sind also wie ein HA client im Netz. Und HA und der normale Verkehr hast über das eine Interface konfiguriert, habe ich so noch nie gemacht.

Was sagt den arp -an auf beiden pfSense und dem/einen Klient (Ist der im gleichen Subnet)? Haben diese einen MAC Eintrag für die CARP IP 172.16.91.20?

Wenn es einen Eintrag gibt dann würde ich mittels Packet Capture schauen ob die Anfrage auf dem Master ankommt.

viragomann

@Pittiplatsch said in Carp IP antwortet nicht auf ping:

Du hast Recht, ich hatte die Doku über den Betrieb mit VM- Ware vorher nicht gelesen weil mir nicht bewusst war das es eine solche Doku gibt.

Für die Problembehebung von CARP auf VMWare ist noch dieses Dokument empfohlen: Troubleshooting High Availability Clusters in Virtual Environments

Für dein spezifisches Problem könnten die beiden erstgenannten Settings da ausschlaggebend sein:

Enable promiscuous mode on the vSwitch

Enable MAC Address changes

Pittiplatsch

@patient0

Ich habe für das HA eine gesondertes Netzwerk. Sorry, das hatte ich nicht erwähnt weil es ja nur für das HA zuständig ist.

In dem Netzwerk giebt es keine anderen Clients. Die pings auf die Carp IP habe ich zwischen den beiden VMs gestestet. Die Host IPs (.15 und .16) sind auch von PCs aus anderen Netzwerk erreichbar.

pfsense 1

arp -an
? (172.16.91.15) at 00:50:56:89:c3:76 on vmx0 permanent [ethernet]
? (172.16.91.16) at 00:50:56:89:f6:81 on vmx0 expires in 883 seconds [ethernet]
? (172.16.91.254) at 00:00:5e:00:01:3b on vmx0 expires in 1192 seconds [ethernet]
? (192.168.77.15) at 00:50:56:89:8e:87 on vmx1 permanent [ethernet]
? (192.168.77.16) at 00:50:56:89:15:79 on vmx1 expires in 606 seconds [ethernet]

pfsense 2

arp -an
? (172.16.91.15) at 00:50:56:89:c3:76 on vmx0 expires in 1097 seconds [ethernet]
? (172.16.91.20) at 00:00:5e:00:01:5b on vmx0 expires in 1197 seconds [ethernet]
? (172.16.91.16) at 00:50:56:89:f6:81 on vmx0 permanent [ethernet]
? (172.16.91.254) at 00:00:5e:00:01:3b on vmx0 expires in 1184 seconds [ethernet]
? (192.168.77.15) at 00:50:56:89:8e:87 on vmx1 expires in 519 seconds [ethernet]
? (192.168.77.16) at 00:50:56:89:15:79 on vmx1 permanent [ethernet]

Ich habe noch einen Nachtrag.

ich habe noch einen Testrechner an das Netz angeschlossen. Auf der Test VM zeigt arp -an einen Eintrag für die 172.16.91.20. Mit tcpdump sehe ich auch den echo rquest auf der pfsense.

arp -an
(172.16.91.15) at 00:50:56:89:c3:76 on vtnet1 expires in 977 seconds [ethernet]
? (172.16.91.11) at bc:24:11:1f:b0:88 on vtnet1 permanent [ethernet]
? (172.16.91.20) at 00:00:5e:00:01:5b on vtnet1 expires in 1198 seconds [ethernet]
? (172.16.91.254) at 00:00:5e:00:01:3b on vtnet1 expires in 1172 seconds [ethernet]
? (192.168.77.11) at bc:24:11:f1:8f:16 on vtnet3 permanent [ethernet]

Viele Grüße

Pittiplatsch

@viragomann
Ich habe die Einstellungen "Enable promiscuous mode" und "Enable MAC Address changes" jetzt aktiviert.

Vor der Aktivierung konnte ich auf der Maschine die der Master ist, die Carp IP pingen. Das ist nun nicht mehr möglich.

Viele Grüße

viragomann

@Pittiplatsch
Ich hatte mal vor Jahren ein HA System auf ESXi in Betrieb genommen und bis vor kurzem noch betrieben. Da waren diese Einstellungen auch nötig, dass die CARP IP brauchbar war.

Wobei ja, Promiscuous Mode machte zu einem späteren Zeitpunkt dann Schwierigkeiten.

MAC Address Changes sind jedenfalls essentiell, damit die CARP VIP genutzt werden kann.

Ein Neustart der VM schadet nach solchen Änderungen am Hypervisor auch nicht.

Pittiplatsch

@viragomann
Neustart hatte ich gemacht. Ich hab schon daran gedacht zwei physische Rechner dafür zu verwenden. Da sind noch einige ältere Modelle im Schrank. Die sind für Desktopbetrieb nicht mehr geeignet, aber für sowas reichen sie vermutlich aus.

viragomann

@Pittiplatsch said in Carp IP antwortet nicht auf ping:

Ich hab schon daran gedacht zwei physische Rechner dafür zu verwenden.

Ich denke, dass das dein Problem lösen könnte. Beide VMs eines CARP-Clusters auf derselben Hardware zu betreiben erscheint mir zudem ohnehin wenig sinnvoll.

Dennoch sollte CARP auch so laufen, ich hatte es schließlich auch bis zur jüngsten pfSense Version im HA auf VMware betrieben.
Und ich vermute die Ursache immer noch beim Hypervisor.
Das o.g. Problem mit dem Promiscuous Mode war wohl als ich ihn mal versuchsweise deaktiviert hatte. Sonst war der immer aktiv.
Hast du in VMware auf dem vSwitch ein Netzwerk definiert, ggf. auch einen DHCP laufen?
Da sollte nicht konfiguriert sein. Das sollte alles pfSense machen.

Ich würde mal die ganzen Troubleshooting-Empfehlungen im Link oben durchgehen.

CARP hat Eigenarten, die mit so mancher kontroll-wütigen virtuellen Umgebungen nicht kompatibel ist, jedenfalls nicht mit deren Standardeinstellungen:

Die CARP ViP ist eine virtuelle IP, die auf einer virtuellen MAC Adresse basiert. Die virtuelle MAC legt der Master auf Basis der VHID fest.
In virtuellen Umgebungen vergibt aber Host die MACs. Dass da nun Pakete an ein von ihm generiertes virtuelles Interface gehen sollen, deren angebliche MAC er diesem gar nicht zugewiesen hatte, möchte er ggf. "zur Sicherheit" unterbinden.
Sofern der die Anfragen an die CARP VIP doch durchlässt, kommt die Antworten dann aber von der Hardware-MAC. Das könnte der Host als MAC Spoofing detektieren und die Antwort blockieren, wieder nur "zur Sicherheit".
VMware und auch andere Umgebungen unterbinden das standardmäßig.

Als Überprüfung des Problems wäre ein Ping von einer anderen VM auf die CARP VIP geeignet, während du auf beiden VMs ein tcpdump laufen lässt und dir das Ergebnis anschaust.
Kommen die Ping Requests am Master an?
Wenn ja, siehst du am Master auch die Responses?
Wenn ja, siehst du die auch am Client?

Letzteres ist wohl zu verneinen. Aber die Antworten auf die anderen beiden Fragen sollten helfen, das Problem zu erkennen.

@Pittiplatsch said in Carp IP antwortet nicht auf ping:

Ich habe für das HA eine gesondertes Netzwerk.

Du meinst wohl, das Sync-Netz? Das ist aber nicht HA, das ist nur eine zusätzliche Funktion, die beim HA Betrieb ganz hilfreich ist. Das eigentliche HA ist CARP, und das muss wohl Teil des LANs sein.