Dedizierter Server mit Proxmox > pfSense VM > Webserver VM

MarcM

Heyho liebe Community!

Ich versuche mich gerade an folgendem Setup:
Server (Proxmox) > pfSense > mehrere VMs

Zum besseren Verständnis:

Der Server hat, logischerweise, eine öffentliche IP. Diese kommt auf dem physikalischem Interface (enp2s0) an. Dann habe ich eine Linux Bridge (vmbr1) angelegt und das /30er Transfernetz festgelegt. Eine weitere Bridge (vmbr2) hat keine IP. Das mache der DHCP-Server der pfSense.

/etc/network/interfaces sieht so aus:

auto lo
iface lo inet loopback

auto enp2s0
iface enp2s0 inet static
        address öffentliche-IP/32
        gateway sein.GW
        pointopoint auch.das.GW
        dns-nameservers D.N.S.1 D.N.S.2 D.N.S.3
        dns-search xyz.mein.server-netz.tld
        post-up   echo 1 > /proc/sys/net/ipv4/ip_forward
        post-up iptables -t nat -A PREROUTING -i enp2s0 -p tcp -m multiport ! --dport 22,8006 -j DNAT --to 10.0.0.2
        post-up iptables -t nat -A PREROUTING -i enp2s0 -p udp -j DNAT --to 10.0.0.2
# dns-* options are implemented by the resolvconf package, if installed

auto vmbr1
iface vmbr1 inet static
        address 10.0.0.1/30
        bridge-ports none
        bridge-stp off
        bridge-fd 0
        post-up   iptables -t nat -A POSTROUTING -s '10.0.0.0/30' -o enp2s0 -j MASQUERADE
        post-down iptables -t nat -D POSTROUTING -s '10.0.0.0/30' -o enp2s0 -j MASQUERADE
#Transfernetz Host zu pfSense

auto vmbr2
iface vmbr2 inet manual
        bridge-ports none
        bridge-stp off
        bridge-fd 0
#VM-Netzwerk (DHCP über pfSense)

So weit so gut, klappt auch (fast) alles ...... außer:
Auf dem Webserver habe ich Debian 11 und ad-admin installiert. Für pd-admin besitze ich unter anderem eine Lizenz für 250 Domains. Daher würde ich das auch gerne weiterhin nutzen. Das Problem ist aber, dass pd-admin nur Lizenzen auf öffentliche IP-Adressen vergibt. Wenn der Server selber also eine private IP hat, kommt da nichts an...

Nun ist mein Plan, eine weitere öffentliche IP zu bestellen, was ich auch schon gemacht habe. Allerdings scheitert es jetzt daran, die auf ein weiteres Interface auf die pfSense zu kriegen. Auf dem Proxmox Host habe ich ein weiteres Interface (vmbr0) angelegt und der pfSense VM zugewiesen. In der pfSense habe ich ein weiteres IF hinzugefügt und es SRV genannt.

Frage 1:
Weiß jemand, wie ich das auf dem Proxmox einrichten muss? Einfach nichts und das IF auf der pfSense festlegen (wie oben vmbr2), oder IP vergeben (wie bspw. bei vmbr1)?

Frage 2:
Wie richte ich das auf der pfSense ein und wie bekommt die Debian VM (der Webserver) dann die IP?

Danke im Voraus und
schönen Gruß, Marc

viragomann

Hallo!

@marcm said in Dedizierter Server mit Proxmox > pfSense VM > Webserver VM:

Das Problem ist aber, dass pd-admin nur Lizenzen auf öffentliche IP-Adressen vergibt. Wenn der Server selber also eine private IP hat, kommt da nichts an...

Echt jetzt? Die öffentliche IP muss am Server selbst eingerichtet sein? NAT Forwarding tut's da nicht?

MarcM

@viragomann
Nein in dem Fall nicht, da das die einzige IP für mehrere VMs ist.

viragomann

@marcm
Ich verstehe zwar die Begründung nicht, aber soll so sein.

Das ist mal eine Herausforderung. Habe ich noch nie so umgesetzt, daher keine Erfolgsgarantie für Folgendes.

Um die öffentliche IP an den Debian Server zu schaffen, musst du Bridges einsetzen. Eine um Proxmox zu überbrücken und eine weitere um pfSense zu überbrücken.

Ich würde auf der pfSense dasselbe WAN-Interface nutzen. Ist, denke ich, einfacher, geht aber auch mit einem separaten.
Auf vmbr2 sollte keine weiter VM hängen.
Ich nehme an, die zweite IP liegt ja ebenso auf enp2s0.
Dann müsstest du enp2s0 zur vmbr1 hinzufügen. Damit ist mal Proxmox gebrückt.
Auf der pfSense eine Bridge konfigurieren, also in Interfaces > Bridges und eine hinzufügen und das WAN und das Interface zur Debian Maschine hinzufügen. Dann muss in Assignment der Bridge ein Interface zugewiesen werden, dieses dann zum Editieren öffnen und aktivieren, nichts weiter.
Am WAN Interface müssen noch die entsprechenden Firewall-Regeln gesetzt werden, um den Zugriff zu erlauben.
Debian müsste dann direkt das Provider Gateway als Standard nutzen, ansonsten wird es noch komplizierter.

MarcM

@viragomann
Sorry, die Begründung war auch schwachsinnig. Wenn der Server eine andere IP hat, als ich in der pdadmin.conf eingetragen habe, kommt folgender Fehler:

Wenn ich der Software irgendwie vorgaukeln könnte, dass die VM diese Public IP hat, wäre das natürlich die beste Lösung. Jemand eine Idee dazu, ob das möglich ist?
Mit:

ip a add PUBLIC_IP dev ens18

geht es zumindest schon mal nicht...

Ich habe jetzt folgendes versucht.

Zusatz IP auf die vmbr0 gelegt
Interface mit der IP angelegt
Bridge angelegt und aktiviert
Firewall Regel auf dem WAN IF angelegt

Die Interfaces sehen jetzt so aus:

Es geht auch Traffic raus, aber es kommt nichts rein:

An der Regel (unter 4) stimmt noch irgendwas nicht, oder?

viragomann

@marcm said in Dedizierter Server mit Proxmox > pfSense VM > Webserver VM:

Wenn der Server eine andere IP hat, als ich in der pdadmin.conf eingetragen habe, kommt folgender Fehler:

Muss da zwingend eine IP in der Konfig-Datei stehen oder tut es auch ein Hostname?
Wenn ein Hostname auch akzeptiert wird, kannst du einfach einen Host Override am internen DNS einrichten. Dann musst du natürlich noch dafür sorgen, dass der Server das interne DNS nutzt.
Damit sollte der Server befriedigt sein.

Interface mit der IP angelegt

Von der IP am pfSense Interface hatte ich nichts erwähnt.
Die IP müsste der Server haben, und natürlich nur dieser exklusiv.

MarcM

@viragomann said in [Dedizierter Server mit Proxmox > pfSense VM > Webserver VM]

Muss da zwingend eine IP in der Konfig-Datei stehen oder tut es auch ein Hostname?

Leider ja. So sieht die Konfig aus:

Von der IP am pfSense Interface hatte ich nichts erwähnt.
Die IP müsste der Server haben, und natürlich nur dieser exklusiv.

Oh, mein Fehler. Ist raus:

Leider ohne Erfolg.

viragomann

@marcm said in Dedizierter Server mit Proxmox > pfSense VM > Webserver VM:

Firewall Regel auf dem WAN IF angelegt

Es gibt keine "BSRV net", es gibt nur die eine Ziel-IP und für die hält pfSense keinen Alias vor, der müsste erst angelegt werden.

Leider ohne Erfolg.

Beim Zugriff von außen?

Wenn du auch von Debian ins Internet oder sonst wo hin kommen möchtest, musst du erst am SRV Interface eine entsprechende Regel anlegen. Vorausgesetzt System Tunables "net.link.bridge.pfil_member" steht auf 1 und "net.link.bridge.pfil_bridge" auf 0.

BTW: Die Fehlermeldung "Server unable to read htaccess file" kann ich jetzt so nicht interpretieren. Kommt die von der Applikation oder vom Webserver? htaccess ist ja normalerweise Sache des Webservers, aber dies Meldung kenne ich nicht.

MarcM

@viragomann said in [Dedizierter Server mit Proxmox > pfSense VM > Webserver VM]

Es gibt keine "BSRV net", es gibt nur die eine Ziel-IP und für die hält pfSense keinen Alias vor, der müsste erst angelegt werden.

Okay, ist auch geändert, bzw. angepasst.

Beim Zugriff von außen?

Wenn du auch von Debian ins Internet oder sonst wo hin kommen möchtest, musst du erst am SRV Interface eine entsprechende Regel anlegen. Vorausgesetzt System Tunables "net.link.bridge.pfil_member" steht auf 1 und "net.link.bridge.pfil_bridge" auf 0.

BTW: Die Fehlermeldung "Server unable to read htaccess file" kann ich jetzt so nicht interpretieren. Kommt die von der Applikation oder vom Webserver? htaccess ist ja normalerweise Sache des Webservers, aber dies Meldung kenne ich nicht.

Ja, wenn ich von außen auf die IP gehe, kommt die Meldung.
pd-admin bringt leider alles bei der Installation mit. Apache, Phython, bla bla bla...

Da steht u.a der Fehler:
Link im pdadmin-forum

viragomann

@marcm said in Dedizierter Server mit Proxmox > pfSense VM > Webserver VM:

Ja, wenn ich von außen auf die IP gehe, kommt die Meldung.
pd-admin bringt leider alles bei der Installation mit. Apache, Phython, bla bla bla...

Was aber nicht heißt, dass man die Konfiguration nicht anpassen könnte.

Leider ist immer noch die Frage offen, woher die Meldung kommt. Wenn sie vom Webserver selbst kommt, sollte man das entsprechend anders konfigurieren können, dass der Zugriff akzeptiert wird.
Was ist der Webserver Antwortcode zu dieser Meldung?