Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.

mike69

Nabend.

So, ein kleines Feedback.

Die Mediaserver VM greift nun auf mehrere Shares vom Host zu. Die Sat>IP Server VM mit der durchgereichten Sat-Karte looft, pumpt die Aufnahmen auf ein gemeinsamen Ordner, wo der Mediaserver darauf zugreifen kann. Die anderen kleinen VMs sind so gut wie konfiguriert, kann jetzt nach und nach die anderen Buden abschalten. :)

Hab auch langsam die Fresse dick.

@JeGr
Die Nodes unter PVE können sich per acme und Letsencrypt Zertifikate erstellen lassen, schon zum laufen bekommen?

JeGr

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Die Nodes unter PVE können sich per acme und Letsencrypt Zertifikate erstellen lassen, schon zum laufen bekommen?

Du meinst die PVE Nodes also der Hypervisor selbst? Ja hab ich. Meine haben sich beide als hvn01/hvn02 ein Zert ausgestellt :) Zusätzlich läuft davor noch ein HAproxy mit Prio auf hvn01 der aber auf hvn02 umswitcht wenn der einser down wäre und da alle PVEs immer das komplette Datacenter zeigen ist damit die GUI abgesichert :)
Und das pve... Zertifikat des HAproxy kommt natürlich auch via ACME aber auf der Sense ;)

mike69

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Du meinst die PVE Nodes also der Hypervisor selbst?

Ja, deine NUCs.

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Und das pve... Zertifikat des HAproxy kommt natürlich auch via ACME aber auf der Sense ;)

Stimmt, Du nutzt ja Cloudflare. :)
Cool, komme dann nochmal auf Euch/Dich zurück, ein schneller Versuch heute morgen ging irgendwie krachen.

JeGr

Jup seit der Einführung von gesonderten API Keys für eigene Zonen kann man das recht schön kontrollieren.

mike69

So, Domain besorgt, bei Cloudflare registriert, ACME auf dem Node konfiguriert, Zack, Zertifikate da.

Jetzt die Frage, wie bekommen die VMs in den Genuss der Zertifikate? Habe alle Subdomains mit aufgeführt bei der Zertifizierungerstellung, nur müssen die Websites der VMs auf den Node zugreifen, oder wie muss ich mir das vorstellen? PVE hat ja einen Proxy laufen mit den Zertifikaten. Damit verteilt es die auch, oder?

Ach ja, irgendwann war kein Zugriff per IP (SSH oder HTTP) auf den VMs möglich, nur per Konsole über die Node. Nach einem Neustart des PVE-Server ging es kurzzeitig. Habe die Gäste dann komplett auf dhcp umgestellt, seitdem ist Ruhe. Dennoch seltsam irgendwie.

JeGr

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Jetzt die Frage, wie bekommen die VMs in den Genuss der Zertifikate?

Warum müssen sie das?

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Habe alle Subdomains mit aufgeführt bei der Zertifizierungerstellung

Was meinst du damit? Ein Zertifikat mit allen Namen erstellt?

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

PVE hat ja einen Proxy laufen mit den Zertifikaten.

Was für nen Proxy? PVE hat m.W. per default gar nüscht laufen. Außer dass er selbst Zertifikate für seine WebUI und Komponenten nutzt.

Verstehe das Setup bzw. den Wunsch noch nicht :)

mike69

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Verstehe das Setup bzw. den Wunsch noch nicht :)

Moinsen.

Hab mich komplett verrannt, aber so was von. :)
Nach der Erstellung des Zertifikates auf der Node erstellte PVE ein pveproxy-ssl.pem, und dieses "proxy" in dem Wort liess mich im glauben, PVE stellt Zertifikate seinen Gästen zur Verfügung. Doof, oder?

Egal, kommen die Zertifikate anders her. Werde aber mit dem ACME und HA-Proxy auf der Sense irgendwie nicht warm, gehören nicht in eine Firewall imho. Eventuell gibt es andere Lösungen, den Proxy muss ja nicht pfSense bereit stellen.

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Jetzt die Frage, wie bekommen die VMs in den Genuss der Zertifikate?

Warum müssen sie das?

Eigentlich nicht, ein Gast hat eine Weboberfläche, da wo der Log-Server und bald Zabbix looft. Der Rest werkelt headless im Hintergrund. Und nichts muss sich nach draussen präsentieren.

JeGr

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Doof, oder?

Nö nur mißverständlich :)

Werde aber mit dem ACME und HA-Proxy auf der Sense irgendwie nicht warm, gehören nicht in eine Firewall imho.

Oh ja doch. Nur weil HAproxy per se ein mächtiger Loadbalancer ist, ist er auch gleichzeitig für 2.5 der Ersatz für "relayd" und den internen LB. Außerdem ist er voll IPv6 fähig und hilft dabei IP4->IP6 zu übersetzen (bspw.).

Er gehört ggf. nicht zum Core - agreed, deshalb ists ein Paket - aber zur Firewall würde ich ihn definitiv NICHT missen wollen. Und einfache Setups sind mit den Templates problemlos möglich.

Eigentlich nicht, ein Gast hat eine Weboberfläche, da wo der Log-Server und bald Zabbix looft. Der Rest werkelt headless im Hintergrund. Und nichts muss sich nach draussen präsentieren.

Wenn nicht nicht draußen:

Interne CA ausrollen und installieren und damit Zertifikate ausstellen
Genauso acme Zertifikate ausrollen eben mit acme.sh auf der VM selbst. Geht genausogut und man kanns jederzeit auch extern nutzen
HAproxy auf pfSense nutzen mit Acme mit eingebunden und auf den/der VM einfach self signed von den Produkten lassen, die die oft mitbringen. Gleiche Vorteile wie 2 aber ich hab alles zentral im Griff und in der Übersicht.

Ich nehm da gern 3, man kanns aber auch mit 2 machen. 1 wird zunehmend schwieriger weil da Apple Gedöns reingrätscht und Zerts länger als 398 Tage eh nicht mehr akzeptiert werden. Das unterminiert dann den Sinn von internen CAs bei denen man Zertifikate und CA Lifetimes von 5-10 Jahren gesetzt hat und gut ;)

mike69

Da muss ich mich wohl oder übel damit auseinander setzen müssen....tun. :)

Zumal Deutsche Glasfaser gerade bei uns anklopft. Wenn das klappt, ist eh alles IPv6, dann muss ich es tun.

@JeGr
Es wird auf Punkt 3 hinauslaufen. Melde mich beizeiten, die kalten Bastelwintertage kommen bald.

Gruß

mike69

Hallöle.

Da Proxmox aktuell zufriedenstellend läuft, kommen jetzt die ersten Gehversuche zum Thema ZFS und RAID-Z1. Beim erstellen fällt das nutzbare Datenvolumen auf, welches im Gegensatz zu mdadm echt gering ausfällt. 3 x 8TB HDDs als RAID-Z1 ergibt gerade mal roundabout 10500 GiB, was für den Gast zu nutzen übrig bleibt.
Beim klassischen SoftRAID sind es knapp 14000 GiB. Bunkert sich das ZFS Filesystem soviel für sich, um geschmeidig zu laufen?

Zumal ZFS es nicht erlaubt, sein RAID zu erweitern.

Wie ist Eure Meinung dazu?

Gruß, Mike

JeGr

Zumal ZFS es nicht erlaubt, sein RAID zu erweitern.

Noch nicht:
https://freebsdfoundation.org/blog/openzfs-raid-z-online-expansion-project-announcement/
Ist aber schon länger in der Mache.

Beim klassischen SoftRAID sind es knapp 14000 GiB. Bunkert sich das ZFS Filesystem soviel für sich, um geschmeidig zu laufen?

Bin ich tatsächlich überfragt gerade weil nicht so in der Materie drin. Wäre tatsächlich keine schlechte Frage bei einem "Crossover Talk" mit Leuten aus der OPNsense Ecke, da ist u.a. jemand dabei, der (lustigerweise ebenfalls aus KA/DE) sich schon sehr lange und intensiv mit TrueNAS/FreeNAS beschäftigt und da auch ggf. mit dran geschraubt hat, den man ggf. dazu mal anhauen könnte ;) Synergie und so :D
Aber könnte mir vorstellen, dass das irgendeine Einstellung von ZFS ist um es evtl. für Ersatz einfacher zu machen. Also ein Schwellenwert der pro Platte angenommen wird damit man auch kleinere und größere als Ersatz verwenden kann. Bei knapp 14 bei softraid ist meist ja gar keine error margin mit drin. Bei guten Raid Controllern oder MD/LVM ist da meist auch so 1-2% mit drin weil es bei den Platten bei der Rechnung auch an Hand der verbauten Technik/Plattern Unterschiede gibt. 10500 ist dann schon wenig, aber kann auch sein, dass da Platz für Metadaten, Caching und sonstiges sowie eben error margin mit reingerechnet wurden.

Weiß es wie gesagt nicht genau, aber gibt einige (gute) Gründe :) Leider traue ich bei drehendem Metall nichts mehr unter Z2 aber da bin ich eigen (und leidig kampferprobt).

mike69

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Leider traue ich bei drehendem Metall nichts mehr unter Z2 aber da bin ich eigen (und leidig kampferprobt).

Ja ok, da bleibt bei 4 HDDs kaum was über.

Habe spasseshalber 2 8TB HDDs jeweils als ZFS auf ein ZFS Filetyp und als EXT4 auf ein Linux Filetyp erstellt. Da stehen dann 6,8 TB ZFS der 7,2 TB EXT4 gegenüber.

Zur Ergänzung hier der Vorgang von letzter Woche:
-Mit 3 x 8TB HDDs als RAID-Z1 ein ZPool errichtet, ergaben knapp 14,2 TiB.
-Unter Datacenter / Storage aus dem Pool ein Laufwerk (Storage) errichtet (schreibt man das so?)
-Dem Gast eine Hard Disk auf dieser Storage hinzugefügt (Raw Disk Image) da bleiben nur 10,5 TiB über.

Ob es anders oder besser geht, kein Plan. Schätze, die User mit RAID im privaten Umfeld sind rar gesät. Wer dazu was sagen kann, nur zu.

Gruß, Mike

JeGr

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Ja ok, da bleibt bei 4 HDDs kaum was über.

Och wenn die Platten groß genug sind. Mit Streaming und Gebimsel ist mein Platzbedarf der letzten Jahre eh massiv geschrumpft ;)

Was das mit dem 14,2 droppt auf 10,5 angeht, bin ich überfragt, scheint aber eher eine Proxmox/Software Einstellung zu sein, kein fixes ZFS Ding. Denn vorher meinst du ja der ZPool hatte 14,2 - wenn der plötzlich nur noch 10.5 groß ist, dann muss es ja ein entsprechendes Setting sein. Wahrscheinlich entsprechendes commitment oder Platz für bestimmte andere Sachen reserviert wie Snapshots oder sonstiges.

mike69

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Wahrscheinlich entsprechendes commitment oder Platz für bestimmte andere Sachen reserviert wie Snapshots oder sonstiges.

Das könnte sein, bin mir auch nicht mehr sicher, aber vzDump backupfile. :)
Danke für den Tip, eventuell hält PVE paar TB für sowas zurück. Platz war da, das RAW Image durfte nur nicht so gross sein.

Leider erst mal egal, Rebuild und Backups zurückspielen looft seit gestern.

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Mit Streaming und Gebimsel ist mein Platzbedarf der letzten Jahre eh massiv geschrumpft ;)

Was ist Gebimsel?

JeGr

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Was ist Gebimsel?

Gebimsel, Gebimmel, "Bells & Whistles", all der shiny new world stuff ;) Das ganze Klimbim und Klingeling der "schönen neuen Streamingwelt"!

Warnung:
Kann Spuren von Nüssen, Gluten und Sarkasmus enthalten. Hauptsächlich wegen GeoBlocking und dümmlicher Produktgestaltung von Amazon & Co.

mike69

@JeGr said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

@mike69 said in Hardware zur Virtualisierung von mehreren Instanzen: Allgemeine Fragen und Lösungen.:

Was ist Gebimsel?

Gebimsel, Gebimmel, "Bells & Whistles", all der shiny new world stuff ;) Das ganze Klimbim und Klingeling der "schönen neuen Streamingwelt"!

Warnung:
Kann Spuren von Nüssen, Gluten und Sarkasmus enthalten. Hauptsächlich wegen GeoBlocking und dümmlicher Produktgestaltung von Amazon & Co.

Ja, dafür braucht man verdammt viel Platz. :)
wird leider mangels Qualität nicht weniger.