VIP CARP sur le WAN chez OVH



  • Bonjour à tous,
    J'avais envie de monter un HA de pfsense sur un environnement virtualisé chez OVH, je trouve de nombreux sujet mais aucun n’apporte la solution (si elle existe !!).
    Le principal problème que je rencontre est lié a l’hébergeur qui pour attribuer une  adresse IP publique l'associe a une adresse MAC( possession d'une plage /29 bien entendu 3 seront reservé au CARP et au pfsense ).

    Du coup pour que cela soit fonctionnel il faudrait que les adresses IP des deux pfsense utilise la même MAC ainsi que l'adresse VIP CARP, ce qui risque de provoquer des conflit d'un point de vue réseau (c'est peut être la que je me trompe).

    Les pfsense seront utilisé pour faire du NAT ( portforward) et un lien openvpn vers différents utilisateurs .

    Savez vous si ce type de solution a déjà été mise en place? ( je l'avait tester en lab privé mais pas pris en compte cette histoire de mac d'ou mon tirage de cheveux)

    je reste a dispo pour des test ( a ce moment je vous mettrais bien entendu toute les configurations)



  • avant de me faire taper sur les doigt je vais quand même mettre ce que j'avais préparé :)

    Contexte : milieu pro –> nouvelle environnement
    Besoin : virtualisation chez OVH ( pas bien je sait mais je n'ai pas le choix)  d'une solution firewall avec l'utilisation de CARP coté WAN / LAN

    Schéma : exterieur –> IPfailoverCARP --> pfsense1 ou pfsense2 --> DMZ
    LAN/DMZ --> pfsense1 ou pfsense2 --> IPFailoverCARP--> exterieur

    pfsense1 (v2.3.2_p1) :
    4 interface
    WAN --> 37.xx.xx.187/29
    LAN-->VLAN16--> 172.16.0.1/13
    LAN-->VLAN24-->10.0.0.1/8
    DMZ-->192.168.0.1/17
    PSYNC--> 192.168.255.1/24
    pfsense2 (v2.3.2_p1):
    4 interface
    WAN --> 37.xx.xx.188/29
    LAN-->VLAN16--> 172.16.0.2/13
    LAN-->VLAN24-->10.0.0.2/8
    DMZ-->192.168.0.2/17
    PSYNC--> 192.168.255.2/24
    CARPVIP
    WAN --> 37.xx.xx.189/29
    LAN-->VLAN16--> 172.16.0.10/13
    LAN-->VLAN24-->10.0.0.10/8
    DMZ-->192.168.0.10/17

    OPENVPN -->192.168.254.X/24

    Paquage : 
    -shellcmd –> pour paramétrer les route de sortie OVH ( defaultgw --> passerelle du serveur ESX)
    -VMtools --> je ne vais pas vous le décrire ;)
    -openvpnclientexport --> utilisation pour exctraction d'installation openvpn

    Infos divers:
    LAN/DMZ –> pas de serveur DHCP
    IPV6 --> désactivé

    config PSync : decochage du DHCP Server Settings et captive portal ( non utilisé )

    Règles NAT :
    -Outbound –> manuel, régle du VLAN16: source * :destination * : port * :NAT ADRESSE 37.xx.xx.189(CARP VIP WAN)
    -Port forward --> futur mise en place de certaines IP public qui seront déclaré en virtual IP sur l'interface WAN ( devront être accessible avec le pfsense1 ou pfsense2)

    Règles Firewall : rien de particulier

    Architecture ESX :
    -WAN un vswitch, connecté a la carte réseau de la machine physique, avec les option ' promiscuous mode / MAC Address changes / Forged transmits'
    -LAN un autre vwsitch  avec les options….

    -DMZ encore un autre vswitch  avec les options
    -Psync  an other vswitch

    Autres fonctions assignées au pfSense : OPENVPN, et il n'y aura rien d'autre :) un parfeu reste un parfeu



  • (C'est mieux d'utiliser le formulaire …)

    Je ne réponds pas à la question : je pose juste une question :

    Combien de machines sous ESX ?

    Parce que, si un seul hyperviseur, je ne vois aucun intérêt à faire du cluster de pfSense sur un seul hôte ESXi ... (sauf à consommer du cpu et de la ram)



  • Bonjour Jdh,
    Je suis bien d'accord avec vous sur le cluster sur une unique machine …
    aprés je sais que la HA ne serra pas complétement gérer pour le moment car les ESX sont sur les mêmes datacenter :) (et d'autres raison ... Carte réseau de la machine non dupliqué ... )

    On avance tranquillement mais plus tard ,quand les finance seront la nous ne nous poserons plus de question ;) ( Zerto + multi cloud dédié ... :) )



  • Bonjour,
    malgré ce temps prévue pour les f^tes de fin d'année j'ai pu effectuer des test avec une  première configuration

    Configuration pfsense VMware : même adresse mac pour les deux host (00:50:56:XX:XX:XX:01)
    Configuration Pfsense  :
    -forcer la communication de l'adresse MAC avec la même pour les deux host sur les interfaces WAN (00:50:56:XX:XX:XX:01)
    -IPv4 Upstream gateway : aucune de déclaré

    Arret pfsense2 –> ping depui le lan ok par pfsense1, internet OK
    Démarage pfsense2 –> ping depui lan HS vers internet

    ARP TABLE pfsnes2
    WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
    WAN 37.XXX.XXX.187 00:ff:ff:ff:ff:ff

    ARPTABLE pfsense1
    WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
    WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01

    pfsense1 –> supression ARP .188 --> ping host client HS
    pfsense1 --supression ARP .189 --> ping host client HS

    ppfsense1
    WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01
    pfsense2
    WAN 37.XXX.XXX.187 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
    WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff

    pfsense2 --> suppression ARP .188 -> HS
    pfsense2 --> suppression ARP .187--> HS

    Arret pfsense1 –> ping du lan OK –> tracert passe bien sur le pfsense2
    redémarage du pfsense1 --> ping lan  HS --tracert pass sur pfsense1
    ARP TAble Pfsense1
    WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01
    WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.189 00:50:56:XX:XX:XX:01
    WAN 37.187.150.37 00:ff:ff:ff:ff:ff  (machine ESX aprés test de ping OK en intra lan malgré impossible sur l'exterieur))

    ARP TAble Pfsense2
    WAN 37.XXX.XXX.187 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.188 00:50:56:XX:XX:XX:01
    WAN 37.XXX.XXX.189 00:00:5e:00:01:04

    Resultat tracert host lan
    1    <1 ms    <1 ms    <1 ms  172.16.0.1
    2    2 ms    3 ms    2 ms  37.XXX.XXX.25
    3    <1 ms    <1 ms    <1 ms  37.XXX.XXX.37

    arret pfsense2 –> ping du lan vers net HS ping de l'host ESX OK
    depuis pfsense1->> ping ESX OK --> ping ip public + CARP OK --> ping internet HS

    ARP TAble Pfsense1
    WAN 37.XXX.XXX.187 00:50:56:XX:XX:XX:01
    WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
    WAN 37.187.150.37 00:ff:ff:ff:ff:ff

    de plus niveau log firewall j'ai des requete entrante ( monitoring hebergeur )

    Action Time Interface Source Destination Protocol
    PASS Dec 27 11:14:49 WAN 167.XXX.Xxx.1 37.XXX.XXX.188 ICMP
    PASS Dec 27 11:14:49 WAN 92.XXX.XXX.1 37.XXX.XXX.189 ICMP
    PASS Dec 27 11:14:49 WAN 92.XXX.XXX.1 37.XXX.XXX.187 ICMP
    PASS Dec 27 11:14:49 WAN 167.XXX.XXX.1 37.XXX.XXX.187 ICMP

    Arret relance de la carte WAN rien de spécial

    Suppresion du .189 dans la table ARP –> ping depuis le HOST LAN vers internet OK

    TABLE ARP pfsense1
    WAN 37.XXX.XXX.187 00:XX:XX:XX:XX:4c
    WAN 37.XXX.XXX.188 00:ff:ff:ff:ff:ff
    WAN 37.XXX.XXX.189 00:ff:ff:ff:ff:ff

    Je ne sais pas si cel peu vous orienter, je ferait une autre série de test avec VMWARE configurer en MAC autmatique et forcer la MAC uniquement au niveau de la configuration pfsense.

    Que pensez vous au niveau de la Gateway, normalement cela est néscéssaire pour que la sortie s'effectue toujours par la même IP ?

    Ma solution viable en labo peut elle etre mise en place sur un environnent fournis par un hebergeur ?



  • jdh

    Certes pas un très grand intérêt mais ça peut servir en cas de besoin de redémarrer le PfSense (mise à jour ….)



  • Salut gabi007

    Je voudrais savoir si tu as réussi ce que tu voulais faire.

    Merci