VIP CARP sur le WAN chez OVH

[gabi007]

Bonjour à tous,
J'avais envie de monter un HA de pfsense sur un environnement virtualisé chez OVH, je trouve de nombreux sujet mais aucun n’apporte la solution (si elle existe !!).
Le principal problème que je rencontre est lié a l’hébergeur qui pour attribuer une  adresse IP publique l'associe a une adresse MAC( possession d'une plage /29 bien entendu 3 seront reservé au CARP et au pfsense ).

Du coup pour que cela soit fonctionnel il faudrait que les adresses IP des deux pfsense utilise la même MAC ainsi que l'adresse VIP CARP, ce qui risque de provoquer des conflit d'un point de vue réseau (c'est peut être la que je me trompe).

Les pfsense seront utilisé pour faire du NAT ( portforward) et un lien openvpn vers différents utilisateurs .

Savez vous si ce type de solution a déjà été mise en place? ( je l'avait tester en lab privé mais pas pris en compte cette histoire de mac d'ou mon tirage de cheveux)

je reste a dispo pour des test ( a ce moment je vous mettrais bien entendu toute les configurations)

[gabi007]

avant de me faire taper sur les doigt je vais quand même mettre ce que j'avais préparé :)

Contexte : milieu pro –> nouvelle environnement
Besoin : virtualisation chez OVH ( pas bien je sait mais je n'ai pas le choix)  d'une solution firewall avec l'utilisation de CARP coté WAN / LAN

Schéma : exterieur –> IPfailoverCARP --> pfsense1 ou pfsense2 --> DMZ
LAN/DMZ --> pfsense1 ou pfsense2 --> IPFailoverCARP--> exterieur

pfsense1 (v2.3.2_p1) :
4 interface
WAN --> 37.xx.xx.187/29
LAN-->VLAN16--> 172.16.0.1/13
LAN-->VLAN24-->10.0.0.1/8
DMZ-->192.168.0.1/17
PSYNC--> 192.168.255.1/24
pfsense2 (v2.3.2_p1):
4 interface
WAN --> 37.xx.xx.188/29
LAN-->VLAN16--> 172.16.0.2/13
LAN-->VLAN24-->10.0.0.2/8
DMZ-->192.168.0.2/17
PSYNC--> 192.168.255.2/24
CARPVIP
WAN --> 37.xx.xx.189/29
LAN-->VLAN16--> 172.16.0.10/13
LAN-->VLAN24-->10.0.0.10/8
DMZ-->192.168.0.10/17

OPENVPN -->192.168.254.X/24

Paquage : 
-shellcmd –> pour paramétrer les route de sortie OVH ( defaultgw --> passerelle du serveur ESX)
-VMtools --> je ne vais pas vous le décrire ;)
-openvpnclientexport --> utilisation pour exctraction d'installation openvpn

Infos divers:
LAN/DMZ –> pas de serveur DHCP
IPV6 --> désactivé

config PSync : decochage du DHCP Server Settings et captive portal ( non utilisé )

Règles NAT :
-Outbound –> manuel, régle du VLAN16: source * :destination * : port * :NAT ADRESSE 37.xx.xx.189(CARP VIP WAN)
-Port forward --> futur mise en place de certaines IP public qui seront déclaré en virtual IP sur l'interface WAN ( devront être accessible avec le pfsense1 ou pfsense2)

Règles Firewall : rien de particulier

Architecture ESX :
-WAN un vswitch, connecté a la carte réseau de la machine physique, avec les option ' promiscuous mode / MAC Address changes / Forged transmits'
-LAN un autre vwsitch  avec les options….

-DMZ encore un autre vswitch  avec les options
-Psync  an other vswitch

Autres fonctions assignées au pfSense : OPENVPN, et il n'y aura rien d'autre :) un parfeu reste un parfeu

[jdh]

(C'est mieux d'utiliser le formulaire …)

Je ne réponds pas à la question : je pose juste une question :

Combien de machines sous ESX ?

Parce que, si un seul hyperviseur, je ne vois aucun intérêt à faire du cluster de pfSense sur un seul hôte ESXi ... (sauf à consommer du cpu et de la ram)

[gabi007]

Bonjour Jdh,
Je suis bien d'accord avec vous sur le cluster sur une unique machine …
aprés je sais que la HA ne serra pas complétement gérer pour le moment car les ESX sont sur les mêmes datacenter :) (et d'autres raison ... Carte réseau de la machine non dupliqué ... )

On avance tranquillement mais plus tard ,quand les finance seront la nous ne nous poserons plus de question ;) ( Zerto + multi cloud dédié ... :) )

[gabi007]

Bonjour,
malgré ce temps prévue pour les f^tes de fin d'année j'ai pu effectuer des test avec une  première configuration

Configuration pfsense VMware : même adresse mac pour les deux host (00:50:56:XX:XX:XX:01)
Configuration Pfsense  :
-forcer la communication de l'adresse MAC avec la même pour les deux host sur les interfaces WAN (00:50:56:XX:XX:XX:01)
-IPv4 Upstream gateway : aucune de déclaré

Arret pfsense2 –> ping depui le lan ok par pfsense1, internet OK
Démarage pfsense2 –> ping depui lan HS vers internet

ARP TABLE pfsnes2
WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
WAN 37.XXX.XXX.187 00:ff:ff:ff:ff:ff

ARPTABLE pfsense1
WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01

pfsense1 –> supression ARP .188 --> ping host client HS
pfsense1 --supression ARP .189 --> ping host client HS

ppfsense1
WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01
pfsense2
WAN 37.XXX.XXX.187 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff

pfsense2 --> suppression ARP .188 -> HS
pfsense2 --> suppression ARP .187--> HS

Arret pfsense1 –> ping du lan OK –> tracert passe bien sur le pfsense2
redémarage du pfsense1 --> ping lan  HS --tracert pass sur pfsense1
ARP TAble Pfsense1
WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01
WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.189 00:50:56:XX:XX:XX:01
WAN 37.187.150.37 00:ff:ff:ff:ff:ff  (machine ESX aprés test de ping OK en intra lan malgré impossible sur l'exterieur))

ARP TAble Pfsense2
WAN 37.XXX.XXX.187 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
WAN 37.XXX.XXX.189 00:00:5e:00:01:04

Resultat tracert host lan
1    <1 ms    <1 ms    <1 ms  172.16.0.1
2    2 ms    3 ms    2 ms  37.XXX.XXX.25
3    <1 ms    <1 ms    <1 ms  37.XXX.XXX.37

arret pfsense2 –> ping du lan vers net HS ping de l'host ESX OK
depuis pfsense1->> ping ESX OK --> ping ip public + CARP OK --> ping internet HS

ARP TAble Pfsense1
WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01
WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
WAN 37.187.150.37 00:ff:ff:ff:ff:ff

de plus niveau log firewall j'ai des requete entrante ( monitoring hebergeur )

Action Time Interface Source Destination Protocol
PASS Dec 27 11:14:49 WAN 167.XXX.Xxx.1 37.XXX.XXX.188 ICMP
PASS Dec 27 11:14:49 WAN 92.XXX.XXX.1 37.XXX.XXX.189 ICMP
PASS Dec 27 11:14:49 WAN 92.XXX.XXX.1 37.XXX.XXX.187 ICMP
PASS Dec 27 11:14:49 WAN 167.XXX.XXX.1 37.XXX.XXX.187 ICMP

Arret relance de la carte WAN rien de spécial

Suppresion du .189 dans la table ARP –> ping depuis le HOST LAN vers internet OK

TABLE ARP pfsense1
WAN 37.XXX.XXX.187 00:XX:XX:XX:XX:4c
WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff

Je ne sais pas si cel peu vous orienter, je ferait une autre série de test avec VMWARE configurer en MAC autmatique et forcer la MAC uniquement au niveau de la configuration pfsense.

Que pensez vous au niveau de la Gateway, normalement cela est néscéssaire pour que la sortie s'effectue toujours par la même IP ?

Ma solution viable en labo peut elle etre mise en place sur un environnent fournis par un hebergeur ?

[trixbox]

jdh

Certes pas un très grand intérêt mais ça peut servir en cas de besoin de redémarrer le PfSense (mise à jour ….)

[servergizmo]

Salut gabi007

Je voudrais savoir si tu as réussi ce que tu voulais faire.

Merci