[Résolu] Questions pratique sur le CARP ? Merci

OneKid0

Bonjour,

Utilisant PFSense en production pour certain de nos clients (WRAP, ALIX) nous avons opté pour PfSense afin de gérée la partie Firewall et VPN de notre infra en Datacentre.

Notre infrastructure ce distingue par 2 choses :

o 30 Ip publics
o 2 firewall type PE860 SAS RAID-1 + spare.
o CARP sur nos interfaces WAN,LAN et DMZ.

Chaque Firewall est équipe de 4 interfaces : WAN, DMZ, LAN et enfin SYNC (crossover vers firewall 2). Nous n’avons pas pu mettre la version 1.0.1 car le driver SAS n’est pas reconnu. Nous avons donc installer la version 1.2-RC3 puis un update vers la 1.2-RC4.

Plusieurs problèmes mais je ne sais pas si il sont liée :

o Au moment de la reconfiguration CARP, PfSense reboot hors 1 reboot sur trois il réinitialise la config, nous somme obliger de rebooter à nouveau pour qu’il prend en compte le configuration.
o Nous avons remarquer un bug déjà connue avec le driver « emX » qui équipe deux de nos cartes réseaux (DMZ, SYNC) ce qui cause beaucoup de prb. De syncro et de heartbeat. Symptôme : Les interfaces ne répondent plus au niveau TCP/IP et au niveau de la console nous pouvons constater que le drivers EM utilise le CPU à mort en tout les cas un des deux core CPU avec un taux de ressources interruption utilisé de 50% .

Aussi après nos derniers tests, le CARP ne ce comporte pas comme expliquer :
http://fr.wikipedia.org/wiki/Common_address_redundancy_protocol

Voici un court schéma pour comprendre :

Switch 1 ISP –---------- | CARP WAN FW1 | CARP DMZ FW1 | ----------| MYSwitch 1
|
| Interface crosseover SYNC
|
Switch 2 ISP ------------| CARP WAN FW2 CARP DMZ FW2 | ---------| MySwitch 2

Ex :
193.78.24.21 /24 Mon IP CARP WAN vid groupe 1.
193.78.24.1 mon GW WAN (ISP)
192.168.123.254 Mon IP CARP DMZ vid groupe 2.

Mon serveur à comme GW l’ip virtuel CARP 192.168.123.254.

Maintenant dans la pratique :

Dans le cas ou un des deux firewall s’arrête, aucun soucis ça fonctionne et transparent.
Mais dans le cas ou le switch 1 de l’isp tombe : L’esclave devient maître pour l’ip carp WAN mais pas pour le CARP DMZ. Hors, si j’ai bien compris, si le backup devient maître, il devient maître pour tout les ip CARP ce qui n’est pas mon cas. Dans ce cas de figure, je rencontre beaucoup de prb. de connexion. Effectivement si l’ip CARP DMZ va sur le Maître et le retour vers l’esclave ça ne fonctionne pas.

Quelqu’un peut me dire si nous procédons de la meilleure manière ?

Enfin, si vous avez des idées, conseil.

Merci,

OneKid0

Juve

Bonjour,

Dommage d'avoir opté pour des serveurs Dell sur OS BSD, ce n'est malheureusement pas les plus compatibles avec les BSD (du moins Open et Free, je n'utilise pas Net), généralement les "BSDsiens" se tournent majoritairement vers Compac/HP (DL 140/320/360) ou IBM (x306m,x3250).
Une machine qui reboot lors de l'activation de CARP c'est très mauvais signe, cela veut dire que le drivers plante et entraine le kernel avec lui, ce comportement était principalement observé sur des séries de cartes Broadcom utilisant le drivers BGE. Cependant, la version actuelle (et depuis la 1.1) n'a plus ces problèmes. L'utilisation du driver Em avec cartes Intel ne présente pu lui non plus ces problèmes a part avec certain bus pci-express.

Je possède un certain nombre de clusters en production avec des configurations plus importantes que la votre et ce sans problèmes. Dans votre troubleshooting je vous conseillerais les choses suivantes:

Installer une 1.2 RC4 et non pas une RC3 puis update.
TCPDUMP sans modération sur chacune des interfaces avant,pendant et après les bascules. Afin de bien vérifier que les broadcast CARP sont OK (direction et authentification).
Désactiver pfsync dans un premier temps, la persistance de session est à implémenter quand CARP est 100% opérationnel.

Si les problèmes persistent, changer de carte réseau. Par exemple, une simple Dlink DFE580 TX 4*100mb fonctionne très bien. Pour les cartes Giga, je n'utilise que des cartes à base de chip Intel (Intel PRo 1000 PT Desktop ou Server dual ou quad).

Vous n'avez pas donnez toute votre configuration IP/CARP, êtes -vous sûre d'être OK la dessus ?

En esperant que cela aide…

OneKid0

Bonjour Juve,

Merci pour tes réponses et ton aide. Effectivement je n'est pas indiquer mon setup complet.

J'ai 4 interfaces sur 2 PE860 :

WAN CARP (30 IP.CARP)/24 Ip de l'interface dans la range ip du CARP de même pour le Gw de notre fournisseur.
DMZ CARP La partie public du réseau.
LAN CARP La partie d'administration (accessible uniquement via VPN).
SYNC L'interface pfsync sur câble crossover.

Nous allons suivre tes précieux conseils et effectivement si le prb. persiste nous serons obligé de changer de carte réseau.
Les cartes incriminé son justement sur BUS PCI-Express.

Cependant, ces très vicieux comme problème car au moment de l'installation tout fonctionne évidement nous avons rencontrer les prb. après.

Si sur le WAN, je perte la connexion avec le switch ISP normalement les autres interfaces CARP devrais passé en backup comme pour le WAN CARP ?
Donc si le switch de l'isp sur l'interface WAN du MASTER Firewall tombe, le CARP WAN passe sur le BACKUP mais mes CARP DMZ ET LAN ne passe pas sur le BACKUP.

Dois-je mettre en place du Load Balancing ? Je ne suis pas certain que ce soit obligatoire ! Je veux juste pouvoir disposer d'un FailOver sur l'infra.

Je vais tenter l'installation direct en RC4.
Je rétablie ma config à partir d'une nouvelle install RC4.
Je n'active pas le PfSync avant d'avoir un carp OK

Si je rencontrer encore des prb. sur le driver de l'interface Sync et DMZ, je change les cartes réseau.
Merci encore pour ta réponse, je vais tenter ça vendredi soir pour le moment j'ai changer la config pour tourné avec 1 seul firewall pour éviter les soucis.

OneKid0

Juve

OUch,

Qu'entends tu par "WAN CARP (30 IP.CARP)" ?

30 IP VIRTUELLES CARP Définies sur sur l'interface ? si c'est le cas alors il y a un problème de design.

OneKid0

Salut,

Je ne vois pas comment je peux faire autrement. 30 IP public sur CARP effectivement.

ex: Interface WAN 195.238.12.2/24 GW 195.238.12.1
Et 30 ip CARP de 195.238.12.6 195.238.12.36 sur l'interface WAN.
Une CARP IP sur le LAN et une CARP IP sur la DMZ.

Merci,

OneKid0

Juve

Les IP publiques sont côté WAN et tu envisages de faire du NAT, c'est ici le problème de design. Pourquoi ne sont-elles pas en DMZ ?

OneKid0

Hello,

Oui du NAT 1:1.

Tu veux dire, directement alloué mes ip public à mes serveurs de service ?
une Ip Wan directement sur les serveurs.

Pour le contrôle au niveau firewall, ça veut dire que je dois crée un bridge filtrant ?
Mais alors je n'est plus de tolérance de panne ou CARP car je suis obliger de faire un bridge WAN/DMZ et sur mes serveur je donne directement l'ip GW de notre ISP.

Merci pour tes lumières, sympa et réactif.

OnekiD°

Juve

Non, pourquoi du bridge ?

Une DMZ publique… c'est mieux quand les machines portent les IP publiques.

Du routage, tout simplement. J'ai des dizaines de configuration comme la tienne. Il suffit de communiquer avec ton opérateur ;-) demande lui qu'il place ton cluster de pfsense comme dernier saut (routeur) avant de joindre la plage publique qu'il t'as attribué. Dès lors ton WAN passera en privé (rfc1918), à moins qu'il accepte de "perdre" 4 IP publique dans un subnet de jonction.
Ensuite tu n'auras qu'a créer les règles sur l'interface WAN pour controler le flux vers la DMZ. Tu aura du coup une infra performante (pas de NAT donc pas de destruction/reconstruction des paquets IP, pas de table de NAT(latence), moins de charge CPU, tracabilité des connexions de bout en bout), et tu activera le synproxy state sur les flux TCP en direction de la DMZ. Et puis... rien ne tempechera de faire du NAT... le firewall etant omniscient en routage pure tu peux détourner n'importe quel flux n'importe quand.

Bon courage.

OneKid0

Je suivre tes conseil et déjà ré-installer nos Pfsense en vers Relase.

Ensuite, je vais tenter de passer mon WAN en (rfc1918). En gros, je dois simplement demander à mon fournisseur de router mes ip vers l'ip CARPWAN.

Je tente l'opération ce soir.

Merci pour ton aide.

OneKid0

OneKid0

Merci Juve,

J'ai changer le design et j'ai suivie tes conseils, je ne rencontre plus de problème CARP. Le FailOver fonctionne bien.
J'ai taper la DMZ en /27 et j'ai crée un /29 sur mon WAN avec mon revendeur. Je perte 3 Ip pour mon CARP DMZ mais ça marche super bien.

Merci pour tes précieux conseils.

OneKiD0 ;)