[Infotainment] Netzwerk Neubau mit pfSense und Unifi

JeGr

So kurzer Zwischenstand:

Nach einigem Grummeln und Brummeln mit diversen Händlern war nun gestern endlich der letzte Raspi für den Festeinbau da und das Rackmount Kit und der Cloudkey sind RMA't und auf dem Rückweg zu mir. Hoffentlich funktionieren die besser als die letzten beiden. Klar, ich könnte einfach einen gekühlten Raspi4 4G als Controller nutzen. Wäre wahrscheinlich recht ähnlich oder sogar schneller als der Unifi Key. Aber das komplette Kit - wenngleich teuer - sieht zum einen wirklich gut aus, und zum anderen finde ich das Display des CKG2 ganz praktisch - sowie die Möglichkeit das Ding notfalls sogar per Bluetooth zu konfigurieren. Wenn das Zeug aber wieder nur so sporadisch funktioniert und ständig neustartet bzw. der PoE nicht sauber läuft, dann geht das komplett zurück und ich bau mir wirklich nen Raspi4-based Controller ein und mach oben einfach ne Blende drüber und gut. Keinen Nerv mehr ewig das Rack nicht zumachen/einbauen zu können, weil ein Gammelteil nicht mitspielen mag.

Die sonstigen Switche und Co sind inzwischen alle verbaut und auf Location wo sie hinsollen, 802.1x Radius MAC Auth aktiviert und wieder Mal wäre es schön bei den Unifi Sachen doch ein zwei Winzigkeiten mehr konfigurieren zu können. Aber egal. So werden/wurden jetzt einfach die Geräte via MAC (im Format XXYYZZAABBCC) als User/Pass angelegt, VLAN Tag konfiguriert (wenn man keines konfiguriert wird das Gerät einfach mit dem untagged VLAN angemeldet, in meinem Fall also dem Mgmt Netz -> cool!) und damit hab ich auf jedem Switch bis auf die ersten und letzten Ports quasi alle im Profil "Radius" konfiguriert. Sprich:

Gerät ran:
Meldung im Radius Log auf pfSense:
- (ID) Login INCORRECT: [xxyyzzaabbcc/ <via Auth-Type = eap>] (from client swtXY port Z cli xxyyzzaabbcc)
- Gerät bekommt keine IP/kein Netz (komischerweise aber noch ne IP6 die aber dann nicht funktioniert, warum noch unklar)
- MAC Adresse vom Gerät kopieren
- FreeRadius auf, User=xxyyzzaabbcc, Pass=xxyyzzaabbcc, Cleartext, VLAN=VLANID, speichern
- reload
An Gerät ran, Netzwerk neustarten/neu initialisieren/ausstecken-einstecken/whatever
Meldung im Radius Log auf pfSense:
- (1555) Login OK: [B827EBCA75A8/<via Auth-Type = eap>] (from client swt01 port 14 cli B8-27-EB-CA-75-A8) // Beispiel für einen der PIs
Blick ins DHCP Log
- Oct 2 12:21:39 dhcpd DHCPACK on <IP> to b8:27:eb:ca:75:a8 via igb2.<VLANID>
- Oct 2 12:21:39 dhcpd DHCPREQUEST for <IP> from b8:27:eb:ca:75:a8 via igb2.<VLANID>

BAM. Gerät bekommt nach Radius MAC Auth automatisch im richtigen VLAN seine Adresse per DHCP. Wenn er statisch konfiguriert ist gehts natürlich noch schneller, logisch.

Einziger Wehrmutstropfen daran: Unifi macht Radius MAC Auth grundsätzlich (wie im Log zu sehen) wie EAP mit ... MD5. Was eigentlich ein "schwacher Cypher" ist bzw. man bei Radius inzwischen abschalten kann/sollte. War bei mir auch so, hat mich ne Stunde gekostet rauszufinden, warum zum Geier alles geht, nur Radius MAC Auth nicht. Radius based VLANs vom WiFi AP gehen nämlich! Die nutzen allerdings eben je nach Radius Konfig den Standard den Radius anbietet (was man also vorgeben kann in FreeRadius auf der pfSense als Default). Sprechen also EAP-TLS oder -TTLS o.ä. - nur die Mac Auth macht das nicht. Gut, jetzt ist das alles intern und kein großes Drama, piekst mich aber an, dass ich sowas anmachen muss. Betrifft BTW auch andere Radius Server (wie Windows/Microsoft), bei denen inzwischen per default alte Sachen wie EAP-MD5 und Co abgeschaltet sind und man die manuell wieder anklemmen muss.

Das nur für die, die ggf. mit anderen 802.1x Implementationen herumkrebsen und das ggf. auch als Problem haben ohne es zu wissen ;)

Dafür positiv: neue Kabel und Käbelchen sind angekommen, 0,25/0,3m Kurzkabel für direkt Rack-Rack-Gerätverkabelung um die langen Dinger endlich rauszuwerfen.

2019-09-26 13.52.16-2.jpg

Hier nicht ganz aktuelles Bild mal bei Tageslicht, Top down:

Rangier-Bürstenpanel für externe Kabel (gehen hinten/oben dann aus dem Rack raus)
frei weil wartend auf RackKit für Unifi CKG2
Unifi US-24
Rangier-Bürstenpanel für interne Kabel (geht ins Rack rein/bleibt drin/nach unten zu anderen Geräten)
2HE Audio-Rackrahmen für 10-Unit Vertikaleinbau.
- 3x 2er-Blenden (schwarz) von links
- 3x Raspis (2x 3B+, 1x 3B)
- 1x 1er-Blende (schwarz) ganz rechts
pfSense auf scope7-7525 (Atom C2558) in Rackeinbau-Kit von ehem. FW-7535 verbaut. Links in Halterung Netzteil der Scope, rechts in Halterung (passt lustigerweise fast genau rein) liegt der 48W-24V PoE Injector von Unifi für den Cloudkey (schwarz verdrahtet)
4HE günstige schwarze matte Blechblende für Optik/Sounddämmung
1. HE von unten: 1HE Rackboden, schwarz mit Verschraubung vorne & hinten. Darauf steht
- Synology DS1813+, angebunden mit 4x Gigabit (Kabelstrang der oben bunt aus dem Rangierpanel kommt, 2x grün, 1x gelb, 1x schwarz)
- APC Back-UPS 700 als Turm Variante. Hängt via USB an Synology dran zum Auslesen, Syno publisht den APC Status via Netzwerk an pfSense und zweite Syno im Obergeschoss damit alle wichtigen Geräte die Info zum Powerdown bekommen wenn nötig.
- USV hat an sich jeweils eine Steckdosenleiste angeschlossen für Power Surge only (also nur gegen Blitzschutz etc.) und für BBU (battery backed-up). In der BBU Leiste hängt momentan annähernd alles aus dem Rack, also Syno, die Pis sowie die Switche und der Controller. Was nicht daran angeschlossen wird sind u.a. 1-2 kleine Geräte die noch reinkommen (ein NUC der ggf. noch von einem der Pis abgelöst wird) sowie der Lüfter/Ventilator des Rackgehäuses, der aber eh so gut wie nie läuft (Temp <30° im Rack).

Wen die Kabelfarben interessieren:

weiß: Uplink/VLAN-Trunks (also andere Switche oder der Uplink ins Internet auf der Firewall - farbig wäre da doof gewesen durchs Haus zu legen).
schwarz: Management (alle Unifi Geräte mit ihren Mgmt Ports, Synology für Mgmt, Firewall)
grün: normales LAN (2x Syno für 2Gbps Trunk, NUC, Firewall)
blau: Lab Netz zum intensiven Testen (momentan nur Firewall und 1 Pi, auf dem Bild ist der aber noch nicht angekommen)
gelb: Infrastruktur (Sachen, die alle Netze brauchen wie DNS, LDAP, etc., Pis, Synology, etc.)
rot: Media (im Bild nicht zu sehen, weil innerhalb von weiß[Trunk] gekapselt da meist keine Bandbreiten >200Mbps gebraucht werden, sieht man nur auf den Satelliten-Switchen dann aufliegen)
orange: IoT (dito wie rot -> momentan nur in Ausnahmen benötigt. Da kommen dann ggf. Hausautomation etc. rein wenn dafür mal Zeit ist).

Die ersten 4 Ports sind inzwischen vollständig gesteckt, da hängen jetzt alle Satellitenswitche (US-8er) dran (daher altes Bild) sowie der 3. Pi verbaut so dass jetzt endlich - bis auf den fehlenden Controller - das ganze mal nach was aussieht ;) Nur das letzte (Port 23) baumelnde graue Kabel ist noch da um mein Laptop direkt anzustecken, das momentan Aushilfscontroller spielt.

mike69

Moin @JeGr .

Danke für das Feedback.

Hoffentlich funktionieren die besser als die letzten beiden.

Das bedeutet, du wartest auf den Dritten? :(
Funktioniert das allgemein nicht oder in Verbindung mit der Rackhalterung? Ist dennoch ärgerlich, egal wie.

Wie ich sehe, nutzt Du kein VLAN für deine Netzwerke, darf ich fragen, warum? Bestimmt, weil Du es kannst aber im Ernst, hast Du so viele Ports frei am Switch?

meipert

@mike69 gerade wenn ich das Environment daliegen habe und die Geräte welche zentrales Management bieten würde ich auch ein VLAN Konzept empfehlen, und sei es nur um seine Konsolen und Gastgeräte aus produktiven Netzen herauszuhalten, für die Konsolen ein Direct-NAT erstellt um beim zocken keine Latenzen mehr zu haben, oder die Multimedia Abteilung auf Multicast Basis in einem eigenen isolierten Bereich betreibt. Ganz zu schweigen von der eigenen Frau und der Oma welche auch für sich einen isolierten Bereich bekommen sogar mit shield und anomaly detection.. man glaubt gar was die jeden Tag für einem Impact aus dem Google Play Store heraufbeschwören und man dann seltsamen Netzwerkphänomenen nachgeht oder selbst zum McDonalds fährt um dort seine Cryptogeschäfte zu erledigen haha

managed network -> bekommt erst mit VLAN -> so richtig seinen Wert als managed network angerechnet :-)

p.s. und wenn die Oma mal wieder die ganze Bandbreite zum skypen verbraucht dann trunk ich einfach ihren VLAN Port kurz weg :-)

Lg
Michael

mike69

Moin Michael.

Willkommen im Forum.
Wäre dein "Leidensweg" nicht besser in einem eigenen Thread aufgehoben? :)

@mike69 gerade wenn ich das Environment daliegen habe und die Geräte welche zentrales Management bieten würde ich auch ein VLAN Konzept empfehlen, und sei es nur um seine Konsolen und Gastgeräte aus produktiven Netzen herauszuhalten, für die Konsolen ein Direct-NAT erstellt um beim zocken keine Latenzen mehr zu haben, oder die Multimedia Abteilung auf Multicast Basis in einem eigenen isolierten Bereich betreibt.

Ich denke mal, da sind viele bei Dir. Wird von vielen praktiziert, auch von @JeGr, daher die Frage an Ihn, was hat Er vor? :)

@meipert said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

p.s. und wenn die Oma mal wieder die ganze Bandbreite zum skypen verbraucht dann trunk ich einfach ihren VLAN Port kurz weg :-)

Auch hier gibt es elegantere Lösungen. :)

JeGr

ich lagere mal den einen Post in ein extra Thema aus, macht da glaub ich mehr Sinn, weil das ansonsten nicht so wirklich eine Antwort ist auf den Rest :)

Ich denke mal, da sind viele bei Dir. Wird von vielen praktiziert, auch von @JeGr, daher die Frage an Ihn, was hat Er vor? :)

Wenn Fragen sind, stellt die doch ruhig. Ist doch kein Problem?

mike69

Hab ich doch.

@mike69 said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

Wie ich sehe, nutzt Du kein VLAN für deine Netzwerke, darf ich fragen, warum? Bestimmt, weil Du es kannst aber im Ernst, hast Du so viele Ports frei am Switch?

Du hast 4 Kabel vom Router zum Switch, VLAN-Trunk, LAN, Lab und Management. Also fährst Du nicht komplett im VLAN?

JeGr

@mike69 said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

Du hast 4 Kabel vom Router zum Switch, VLAN-Trunk, LAN, Lab und Management. Also fährst Du nicht komplett im VLAN?

OK die Frage darin hatte ich nicht wirklich wahrgenommen. Gut so :)

Doch ich fahre VLANs. Wie im Farbschema beschrieben, alles was grau/weiß ist. Die erste Ader ist der Uplink (weiß weil auf Wand verlegend) und die nächste ist der VLAN Trunk auf dem die nicht so performanten VLANs aufgelegt sind. Momentan sind das Infrastruktur, IoT und Media sowie Guest. Wirklich aufgelegt sind mgmt (obivous reasons are obvious), LAN und LAB. LAN, weil es von dort aus duchaus Durchgriffe in andere Nezte gibt und das dann auf VLANs unnötig Bandbreite rauben würde. Lab liegt nur auf einem Interface weil es da ist und ich somit wirklich physische Trennung habe, wo ich ggf. nen anderen Switch etc. anschließen kann für echte Tests.

mike69

Mal eine Frage, wie schottest Du dein "LAB" oder "LAN" ab auf den Switch, über ACL Rules auf dem Switch?

JeGr

@mike69 said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

Mal eine Frage, wie schottest Du dein "LAB" oder "LAN" ab auf den Switch, über ACL Rules auf dem Switch?

Warum auf dem Switch? Die Netze liegen auf der Firewall auf?

mike69

@JeGr said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

Warum auf dem Switch? Die Netze liegen auf der Firewall auf?

Du gehst z.B. mit LAN und LAB physikalisch vom Router in den Switch.
Mit einem am Switch angeschlossenen Host aus dem LAN Netz kannst Du doch auf die am Switch engeschlossenen Gerätschaften im LAB Netz zugreifen, oder?

Das looft doch direkt im Switch und nicht durch den Router, oder? Hab ich da einen Denkfehler? Als Layer 2 Switch ist ihm doch die IP egal.

JeGr

@mike69 said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

Mit einem am Switch angeschlossenen Host aus dem LAN Netz kannst Du doch auf die am Switch engeschlossenen Gerätschaften im LAB Netz zugreifen, oder?

Huh? Nö. Lab ist einfach ein abgetrenntes VLAN in dem ich LAN oder ähnliches simulieren kann und was ich als TestBed für Dinge wie VPN Strecken etc. nutze, wenn ich bspw. auf Arbeit eine externe Testgelegenheit brauche. Dann baue ich den Tunnel zu meiner Kiste auf und als Remote Netz nutze ich das Lab, was nur sich selbst sieht. Ich könnte vom LAN aus zum Labnetz zugreifen, richtig, aber der Traffic würde IMMER geroutet werden und über die grüne Strecke in die pfSense und von dort aus der blauen wieder in den Switch gehen. So wie immer mit eigenen VLANs. Nur weil die Sachen am gleichen Switch hängen, heißt ja nicht per se, dass ich da "einfach" drauf zugreifen kann. Die Ports sind ja alle entsprechend in VLANs bzw. im Radius Mode und belegen sich dann untagged mit dem VLAN was drauf soll, also bspw. Lab, LAN o.ä,.

Das looft doch direkt im Switch und nicht durch den Router, oder? Hab ich da einen Denkfehler? Als Layer 2 Switch ist ihm doch die IP egal.

Jetzt widersprichst du dir ;) Gerade WEIL er auf Layer 2/2,5 Modus operiert ist ihm die IP etc. egal und er respektiert nur die VLANs. Ist alles sauber mit VLAN Tags separiert und daher behandelt er alle Ports des entsprechenden VLANs als virtueller Switch. Sprich die sehen nur andere Geräte aus dem gleichen VLAN und die Firewall. Fertig. Nix anderes Gerät aus LAN im Labnetz oder umgekehrt. Deshalb macht man den Spaß ja mit VLANs ;) Und daher würde alles von LAN -> Lab oder umgekehrt immer brav durch die Firewall juckeln.

mike69

@JeGr said in [Infotainment] Netzwerk Neubau mit pfSense und Unifi:

Gerade WEIL er auf Layer 2/2,5 Modus operiert ist ihm die IP etc. egal und er respektiert nur die VLANs. Ist alles sauber mit VLAN Tags separiert und daher behandelt er alle Ports des entsprechenden VLANs als virtueller Switch.

Jetzt fällt der Groschen. :)

Die Ports am Switch sind oder werden noch mit der entsprechenden VLAN ID getagged :). Jetzt wir ein Schuh draus, logisch.
Hatte das mit den tagged Ports an den physikalischen Interfaces irgendwie nicht auf dem Schirm.

Danke :)

JeGr

Rack ist übrigens fertig und an Endposition angekommen

Fertiges Rack ist fertig...

... und steht auch komplett fix und fertig wo es hin soll. "In the cabinet under the stairs (...)" ;)

mike69

@JeGr

Also da stört das Rack überhaupt nicht.
Sieht sauber aus.