Suggestion - Nouvelle infrastructure

Narcomed

Contexte : milieu pro . Administrateur réseau junior.

Besoin : Nous avons 2 nouveau lien fibre. Un 100 et un 10. Le 100 est pour le data et le 10 pour le VOIP. Nous avons également un 3 liens qui sera seulement utilisé si la fibre tombe en panne, tous devra être transférer automatique sur le Cable.

J'ai deux vieux routeur SuperMicro
J'ai également deux Netgate RCC-VE 4860 1U
J'ai aussi un petit Intel(R) Atom(TM) CPU D525 @ 1.80GHz
4 CPUs: 1 package(s) x 2 core(s) x 2 HTT threads

Vu que n'ai qu'une seul adresse pour le lien câble j'avais penser de peut-être mettre un autre routeur en avant, ou s'il y existe une autre façon de faire je serais preneur. Je sais qu'il y a une façon avec le NAT Outbound manuel, mais je me demande si c'est réellement bien de modifier cela manuellement.

Schéma :
http://imgur.com/IcJLASg

WAN :

Mes deux liens Fibre sont en /29
Mon lien cable est seulement un /30 et serais trop de probleme pour mettre ceci en /29.

LAN :

LanDATA Vlan 125 : 172.16.125.0/24
LanVOIP Vlan 126 : 172.16.126.0/24

DMZ : J'aimerais avoir DMZ mais une étape a la fois !

WIFI : Il y a une configuration wifi mais elle n'est pas fait a partir de Pfsense, j'ai des équipement Ubiquiti

Règles NAT : Quelque forward de configurer.

Règles Firewall : Rien de spécifique

Autres fonctions assignées au pfSense : Il y a également des VPN type OpenVPN sur les routeurs, ainsi qu'un site a site avec un autre bureau

Question : La question est surtout si mon infrastructure est adéquat ou si je suis carrément dans le champs, je ne suis vraiment pas un expert en architecture et je dois avouer que je me pose plusieurs question du comment et pourquoi. Je demande s'il est pas mieux de mettre deux autre routeur e avant et mettre les adresse public dessus et ensuite en mettre deux autres pour séparer pour y mettre mon LAN ?

Le probleme est si je choisi la configuration avec seulement 2 routeur est que le IP public qui va etre utiliser sera du WAN en cours et donc si le Gw-01 tombe en panne, le WAN changera également, puis j'aimerais eviter cela. J'ai fais un test avec configurant le wan en carp. Ceci fonctionne, cependant je me pose la question de comment pourrait fonctionner un NAT Forward avec cela ?. Je dois tu également le configurer manuellement ?… je suis un peu perdu a ce propos.

Pistes imaginées: Si possible dans le meilleur des mondes, j'aimerais pouvoir avoir de la redondance équipement mais également au niveau du lien internet. J'aimerais également utiliser seulement 2 routeurs. (les deux Netgate RCC-VE 4860 1U).

Je me demande également s'il est possible et surtout préférable de mettre des IP Privé aux wan et seulement mettre l'IP Public en CARP WAN ?

Recherches : J'ai vérifier sur l'internet pour divers solutions, et beaucoup place les switchs avant les routeur. Je n'ai rarement vu d'autre routeur en avant pour le wan, je répète que c'est avec les informations et la recherche que j'ai fais.

Logs et tests : complément de "Recherches" :J'ai fais divers test et ça fonctionne a moitier... je suis plus ou moins satisfait, je ne sais pas si c'est mon architecture qui fait Default, ou encore si c'est ma configuration... je pourrais donner plus d'informations au besoin a la suite de ces échanges. Comme si je débranche le un des lien internet le traffic n'est pas diriger vers l'autre lien (J'ai ajouter un groupe de failover de wan). Mais avant j'aimerais surtout en savoir davantage sur l'achitecture.

Quelque Screenshot de plus pour bien comprendre ma configuration

GW-01

http://imgur.com/NWWCnzx

GW-02
http://imgur.com/JQRHH40

Gw-03
http://imgur.com/CBQt1i1

Interface
http://imgur.com/FlsRksW

Virtual IP
http://imgur.com/flnwu5s

Merci de votre temps et si ce n'est pas clair ou qui manque des informations, il me fera bien sur un énorme plaisir d'y répondre.

chris4916

J'ai relu plusieurs fois (enfin, un peu plus en diagonale à chaque fois parce que c'est assez long) et je suis désolé mais je ne comprends pas quel est le problème ou la question :-[

C'est un problème de NAT ?
Un problème de fail-over ?
Un problème d'IP ? (je ne comprends pas en quoi et pourquoi les netmask de WAN posent des problèmes)

Narcomed

Oui je suis désolé si c'est long j'ai suivi le formulaire…

Mais ma question est surtout de savoir si mon architecture a du sens.

S'il est possible de brancher le liens câble et fibre dans une Switch et ensuite brancher mes wans dans cette dites switch. Donc par cette même occasion mettre les wan public directement sur mes routeurs, ou si nous pouvons mettre des WAN avec des adresses privé et configurer un VirtualIP avec un WAN Public ?

Je ne sais pas trop comment m'y prendre pour que ça soit la meilleur solution possible. Suite a cela selon la solution je vais avoir des questions au niveaux du Nat Forward.

chris4916

@Narcomed:

Oui je suis désolé si c'est long j'ai suivi le formulaire…

Pas de soucis, je ne vais pas te reprocher d'avoir suivi le formulaire, ce serait mal perçu :-X

S'il est possible de brancher le liens câble et fibre dans une Switch et ensuite brancher mes wans dans cette dites switch. Donc par cette même occasion mettre les wan public directement sur mes routeurs, ou si nous pouvons mettre des WAN avec des adresses privé et configurer un VirtualIP avec un WAN Public ?

Je ne sais pas trop comment m'y prendre pour que ça soit la meilleur solution possible. Suite a cela selon la solution je vais avoir des questions au niveaux du Nat Forward.

OK maintenant je comprends.
Non tu ne peux pas faire ça.
Pour bénéficier d'un fail-over entre la fibre et le câble, il faut 3 interfaces WAN (mais c'est ce que tu as déjà non ?) et définir des groupes de gateway et ensuite assigner dans les règles de FW des "policy routing" pour utiliser les groupes précédemment définis avec les priorités que tu auras choisi.

En terme de haute disponibilité, il faut distinguer le sens des flux.

Pour les flux sortants, le fail-over et load-balancing se font comme je viens de le décrire au dessus.
Pour les flux entrants, tu peux affecter à un CNAME donnée plusieurs hosts (A records) donc plusieurs IP. Le round-robin naturel du DNS va répartir (à peu près) la charge des flux entrants et fournir du fail-over si un lien ne fonctionne pas.

Si en plus tu veux faire de la redondance au niveau du serveur pfSense, c'est le même principe mais plus compliqué :

Comme tu as 2 serveurs en cluster, il faut une VIP… par interface (donc ici 3 VIP pour les WAN) et 2 IP publiques par interface.

ça fait 6 IP publiques si tu fait un déploiement avec pfSense qui supporte les IP publiques.

Une solution alternative : mettre un routeur en frontal de chaque lien WAN : tu gardes une seule IP publique par lien et tu gères tout le reste avec des IP privées de l'autre coté du routeur. Le nombre d'IP nécessaires reste le même :
1 VIP par interface (et donc par lien)
1 IP par interface WAN (donc 2 * 3 IP)
soit 9 IP au total

chaque routeur redirige vers la VIP de l'interface correspondante.

et pareil cote LAN, mais c'est plus simple car il n'y a pas de routage nécessaire.

Au final, ce n'est pas court non plus :P

Narcomed

Merci chris4916

J'aimerais savoir ou qu'il est préférable de mettre mes routeur les plus performant ? en frontal ou pas ? Ou ceci n'a pas vraiment d'importance.

chris4916

je ne sais pas ce que sont tes routeurs "les plus performants".

J'avais compris (intuité) que les 4860 servaient de FW (pfSense) mais ce n'est visiblement pas le cas.
Si ce sont des routeurs, c'est du pur gaspillage (de mon point de vue) de mettre une telle machine pour faire du routage à 100 Mbps mais si tu as les moyens, pourquoi pas ;)

ou alors nous avons un problème de glossaire ;D

Narcomed

Pardon, je me suis peut-etre mal exprimé.. oui ces deux équipements vont servir a titre de Pfsense ! En fait j'ai du Pfsense partout.

chris4916

@Narcomed:

Pardon, je me suis peut-etre mal exprimé.. pui ces machiens vont servir a titre de Pfsense ! En fait j'ai du Pfsense partout.

Je ne comprends rien :-[

Ce ne serait pas plus simple avec un petit schéma ?

Narcomed

Voila

http://imgur.com/LlnHXPf

chris4916

OK, je comprends maintenant ce que tu veux dire… mais pas du tout ce que tu veux faire ;D

1 - empiler des pfSense en série me semble un peu excessif, même si dans certains cas, c'est concevable. Tu n'as pas d'équipement pour faire du simple routage "basique" plus léger que pfSense ?
2 - dans ton schéma, je ne vois pas bien comment tu vas gérer le fail-over "out-going"
3 - je te prépare un petit schéma explicatif

chris4916

1 - en mode "fail-over", 1 seul pfSense avec 3 interfaces WAN se charge de répartir les flux sortants vers les 3 liens WAN en fonction des groupes, priorités et policy routing des règle du FW. Le SPoF est pfSense

2 - en mode "cluster simple" (c'est à dire 2 pfSense en cluster pour 1 ligne WAN unique, et le SPoF est le lien WAN), le lien WAN doit offrir 3 adresses IP :
- 1 IP pour chaque interface WAN pfSense
- une VIP qui va passer d'un pfSense à l'autre selon celui qui est actif
- il faut 3 interfaces par pfSense (pfSync sur une onterface dédiée, c'est mieux)

3 - si on mélange les aspects fail-over des lien WAN et cluster pfSense, il faut:
- 5 interfaces physiques par pfSense (le 4860 peut le faire)
- 9 IP publiques (3 par lien WAN : une pour chaque pfSense et une Vip)

Si tu ne peux pas (ou ne veux pas) avoir 9 IP publiques, tu peux intercaler un routeur (mais pas la peine de mettre un FW ;D) juste pour faire du NAT, le principe reste le même.

pfSense_fail_over.gif_thumb

pfSense_simple_cluster_carp.gif_thumb

pfSense_cluster_fail_over.gif_thumb

Tatave

salut salut

hihi

Le 3ième schéma que tu présentes chris4916, c'est pas piqué des verres à mettre en place, au final c'est amusant pour l'avoir fait.

Etant donné qu'il est tard, j'ai plus trop suivi le post mais je ne suis pas sûr que cela lui soit utile.

chris4916

@Tatave:

Le 3ième schéma que tu présentes chris4916, c'est pas piqué des verres à mettre en place, au final c'est amusant pour l'avoir fait.

La complexité vient à mon avis de la compréhension.
Si tu le vois comme étant à la fois, dans le principe, le schéma n° 1 et le schéma n° 2 et que tu maîtrises bien ce qui se passe dans ces 2 premiers cas, ce n'est pas si compliqué que ça.

Pas simple non plus, il ne faut pas exagérer ;D

La vraie question à se poser, c'est : "de quel(s) risque(s) je veux me prémunir ?"

La réponse à cette question va rapidement te dire si la solution est 1, 2 ou 3
Il y a des petites variations sur le schéma 3 comme je le disais au début selon que tu acceptes ou pas de faire du NAT avec un edge router.

A mon avis, dans la courbe d'apprentissage, l vaut mieux commencer par appréhender les aspects fail-over & load-balancing, avec un seul pfSense et 3 WAN puis ensuite se dire "faut-il absolument faire un cluster ?"

Chez un de mes clients qui a justement cette configuration (avec justement un 4860 et 2 DMZ en plus par rapport au schéma 1), j'ai pour le moment opté pour un "poor man cluster", c'est à dire une sauvegarde de la conf et switch manuel car un cluster mal maîtrisé cause plus de problème qu'il n'en résout. Mais nous viendrons au cluster lorsque le client aura progressé en terme de compréhension et d'opération.

Pour revenir au sujet initial :

pour moi un edge router, ce n'est pas un FW et pfSense est bien trop "lourd" pour faire uniquement du routage.
dans le schéma proposé par l'auteur du topic, un sandwich de FW ne se justifierait que si il était nécessaire de gérer une sorte de DMZ entre les FW (à mon avis)

L'autre point évoqué dans le schéma de Narcomed, c'est la redondance au niveau des équipements réseau de type switch, ce qui n’apparaît sur mon schéma.

A noter (pour conclure au moins provisoirement) : en mettant un edge-router au bout de chaque accès WAN, on se retrouve avec un SPoF à cause de l'unicité de ce routeur. A un moment, il faut arrêter de vouloir tout dupliquer ;)
la défaillance de ce routeur serait juste traitée comme la défaillance de la liaison WAN.

chris4916

Un point important qu'il me semble utile de mettre en avant dans ce type de discussion (je l'ai déjà brièvement évoqué) :

Nous discutons, avec ces différents schéma, uniquement des services sortants.
Pour les services entrants, à part le mail qui bénéficie, via les enregistrement de type MX, de poids différents qui permettent de donner une priorité aux liens WAN, il y a, si on souhaite bénéficier de la redondance les liens WAN, via le DNS, une répartition automatique qui s'appuie sur le mécanisme de round-robin (et donc un load-balancing approximatif) si un CNAME pointe au final vers plusieurs IP.

Dans le cas de liens WAN de débits et de niveaux de service différents, cet aspect peut être assez délicat (c'est le cas ici avec 3 liens au caractéristiques très différentes).

Il convient donc de se poser la question de ces services entrants et même dans le cas où on a des IP fixes et un domaine publique, un mécanisme de type "dynamique DNS" peut rendre service 8)

Narcomed

Dans un premier temps un gros merci Chris pour ton aide, c'est agréable d'avoir de l'aide sans se sentir nul ou insulté :)

Ce que je recherche a été mal expliquer je crois mais je vais tenter de m'expliquer a nouveau

Voici ce qu'on avait autrefois

1 lien cable et un lien ADSL
2 supermicro
2 routeur de type maison qui set surtout de routeur, c'est la que les lien etait connecter

Ce que j'ai présentement

Équipement

2 SuperMicro (Seulement 4 port)
2 Netgate 4860
J'ai également un modèle un peu comme le Netgate 2440 (Autre model pu en vente)
Routeur de type maison (personel) style linksys (Que je ne souhaite pas utiliser)

Lien Internet

Fibre 100 que je souhaite utiliser pour le DATA
Fibre 10 que je souhaite utliser pour le VOIP
Cable que je souhaite utiliser seulement en cas de panne de mes 2 liens fibre

Je n'ai pas rien d'autre a titre de routeur c'est donc la raison principal pourquoi j'utiliserais 2 équipements (probablement les supermicro vu qui sont moins performant que les 4860)

Ce que je souhaite réaliser

Mettre mes deux 4860 en Fail-Over (Cluster) puis que si un lien Fibre (le 100 ou le 10) tombe en panne qui soit automatiquement transférer vers le câble. J'aimerais également le moins possible avoir des adresse IP Public.

Je ne sais pas si cela est plus clair maintenant ?

Donc si je comprends bien je pourrais très bien mettre mes 2 SuperMicro et les faire agir comme routeur (même si c'est du overkill) qui seront connecter directement avec mes liens internet et ensuite mettre mes 2 4860 ?

chris4916

@Narcomed:

Mettre mes deux 4860 en Fail-Over (Cluster) puis que si un lien Fibre (le 100 ou le 10) tombe en panne qui soit automatiquement transférer vers le câble. J'aimerais également le moins possible avoir des adresse IP Public.

Je ne sais pas si cela est plus clair maintenant ?

Donc si je comprends bien je pourrais très bien mettre mes 2 SuperMicro et les faire agir comme routeur (même si c'est du overkill) qui seront connecter directement avec mes liens internet et ensuite mettre mes 2 4860 ?

Disons que dans ton explication de ton "besoin" (qui raisonnablement est plus une description de solution que de besoin), comme tu n'exprimes pas de volonté de mettre en place un cluster de pfSense, tu pourrais obtenir ce que tu décris en terme de fail-over avec un seul pfSense (4860)

Il suffit de connecter chaque lien internet à une interface du 4860 et de définir des groupes au niveau routage comme expliqué au dessus.

Si tu veux faire un cluster de pfSense, il te faut idéalement 3 routeurs pour faire du NAT entre l'adresse IP publique de chaque lien et les 3 adresses correspondant pour les 2 pfSense + VIP.

Avec uniquement 2 routeurs, c'est techniquement faisable mais un peu "prise de tête".

Narcomed

D'accord je crois que je vais essayer avec 3 routeurs dans ce cas. Un pour chaque lien qui va être relier a mes deux 4860. Car je ne peux vraiment pas avoir un seul Pfsense au cas ou que celui tomberait en panne. Je dois être uptime le plus souvent possible.

Merci je regarde cela dés maintenant et je vous tiens au courant :)

chris4916

avec 2 routeurs uniquement, il y a :

=> 1 routeur avec 3 interfaces (celui du cable sur mon schéma)

1 interface WAN
-> 1 IP publique
2 interfaces LAN
-> 2 IP privées + 1 VIP

=> 1 routeur avec 6 interface parce que tu mettrais les 2 FTTH dessus :

1 interface par WAN (100 Mbps et 10 Mbps)
-> 2 IP publiques
1 interface par lien WAN pour chaque pfSense
-> 4 IP privées + 2 VIP

Et sur le deuxième routeur, il faut prendre soin de bien router vers la bonne VIP ;D

Avec 3 routeurs, c'est 3 fois le schéma du lien "cable" de ce schéma, c'est à dire que tu "forward" vers la VIP et c'est tout.

Donc tout marche même avec le matériel dont tu disposes aujourd’hui mais ce n'est pas "basique" 8)

Bon courage

PS: il n'y a pas de switch sur le schéma. Si tu utilises des switchs que tu coupes en deux ou trois, attention aux SPoF ;)

pfSense_cluster_fail_over_router.gif_thumb

Narcomed

Merci encore !

Donc en parlant de Switch, tu conseillerais alors de ne pas en mettre et connecter les équipements directement entre elle ?

Merci

chris4916

Tu ne peux pas ne pas mettre de switch ;D

La raison est que, par exemple, il te faut connecter sur un même réseau l'interface qui arrive du WAN et une interface de chaque pfSense. Le seul moyen de le faire, c'est au travers d'un switch.

Ceci étant, ça ne signifie pas nécessairement une machine physique supplémentaire. il y a des équipements qui ont des switch "embarqués"

Si tu n'utilise pas de switch embarqué mais un switch dédié, si c'est un switch manageable, la tentation est grande de le scinder en plusieurs switchs logiques "indépendants" afin de ne pas multiplier le hardware. Malheureusement, comme dans ce cas tu partages la même alimentation et la même carte mère pour touts les switchs, cette approche risque de te faire passer à coté d'un design qui, sur le papier, fonctionne mais qui ne fonctionne pas dans la vraie vie en cas de panne du-dit switch.