PFSENSE - HAProxy Fehler: 503 Service Unavailable

nd933

Hallo liebe Community,

leider habe ich mal wieder ein kleines Problem mit HA Proxy was sich bisher immer von alleine löste aber genauso auch regelmäßig wieder auftaucht...

Die Meldung von HAProxy lautet 503 und auch in der GUI von PFSense sagt mir HAProxy ganz deutlich das mein Nextcloud Server nicht erreichbar ist. Wenn ich diesen aber im Lokalen Netz aufrufe ist alles ganz normal....!

Screenshot 2023-11-29 105801.png Screenshot 2023-11-29 105817.png Screenshot 2023-11-29 105829.png Screenshot 2023-11-29 105900.png

Vielleicht habt ihr eine Lösung für mein Problem.

viragomann

@nd933
Wie ist der Backend Status, wenn du Basic Health Check verwendest?

nd933

@viragomann Leider bleibt die Fehlermeldung die gleiche.

viragomann

@nd933
Seltsam. Das möchte nicht mehr als irgendeinen HTTP Respond auf dem gesetzten Backend Port.

Ist mit deinem Netzwerk auch alles in Ordnung? Funktioniert ein simpler Ping von der pfSense zum Backend?

Die Firewall am Zielgerät könntest du auch überprüfen.

nd933

@viragomann Ping läuft ohne Probleme. Und die Firewall kann ich auch eigentlich ausschließen, da zum einen der Interne Zugriff innerhalb des Netzwerkes ja passt und läuft und es ja sporadisch grundsätzlich funktioniert.

Was genau meinst du mit Netzwerk in Ordnung? Solltest du Infos aus der PFsense von mir brauchen lass es mich gerne wissen.

nd933

@nd933 Vielleicht hilft das noch:

viragomann

@nd933
Vielleicht hilft die ganze HAproxy Konfig weiter.
Das Backend ist direkt in einem angebundenen Netzwerk?

nd933

@viragomann

Ja der Nextcloud Server hängt direkt über eine virtuelle OPT Schnittstelle an der PFsense.... Ist generell komplett in Proxmox virtualisiert.

Hier die Config... Den Frontend Teil habe ich mal weggelassen...

# Automaticaly generated, dont edit manually.
# Generated on: 2023-11-29 13:01
global
	maxconn			5000
	log			/var/run/log	local0	debug
	stats socket /tmp/haproxy.socket level admin  expose-fd listeners
	uid			80
	gid			80
	nbthread			1
	hard-stop-after		15m
	chroot				/tmp/haproxy_chroot
	daemon
	tune.ssl.default-dh-param	2028
	server-state-file /tmp/haproxy_server_state

listen HAProxyLocalStats
	bind 127.0.0.1:18 name localstats
	mode http
	stats enable
	stats admin if TRUE
	stats show-legends
	stats uri /haproxy/haproxy_stats.php?haproxystats=1
	timeout client 5000
	timeout connect 5000
	timeout server 5000



.... FRONTEND Teil... 






backend UDS-SolutionsWEB_ipvANY
	mode			http
	id			100
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			udswebsrv 10.0.1.50:443 id 101 ssl check inter 1000  verify none 

backend UDS-CRM_ipvANY
	mode			http
	id			102
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			udscrmsrv 10.0.1.7:80 id 101 check inter 1000  

backend UDS-GIT_ipvANY
	mode			http
	id			103
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			udswebsrv 10.0.1.15:443 id 101 ssl check inter 1000  verify none 

backend UDS-LOGINWEB_ipvANY
	mode			http
	id			104
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			udscrmsrv 10.0.1.51:80 id 101 check inter 1000  

backend UDS-container_ipvANY
	mode			http
	id			107
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			udscontainer 10.0.1.30:9443 id 101 ssl check inter 1000  verify none 

backend UDS-SupportSRV_ipvANY
	mode			http
	id			106
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			udssupport 10.0.1.9:80 id 101 check inter 1000  

backend UDS-EMAIL_ipvANY
	mode			http
	id			108
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			cloudst 10.0.50.50:443 id 111 ssl check inter 1000  verify none 

backend caratinterdomain_ipvANY
	mode			http
	id			109
	log			global
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			caratinterdomain 10.0.1.61:80 id 110 check inter 1000  

backend UDS-cloudst_ipvANY
	mode			http
	id			105
	log			global
	option			log-health-checks
	timeout connect		30000
	timeout server		30000
	retries			3
	load-server-state-from-file	global
	server			cloudst 10.0.1.55:443 id 111 ssl check inter 1000  verify none

viragomann

@nd933
Nein, da sehe ich auch nichts.

Du hast ja eine Menge Backends, sind die alle von dem Problem betroffen?

Sind die Frontends im http Mode oder TCP?

Hast du das Logging aktiviert und ist da was zu finden?

nd933

@viragomann Ja genau sind ein paar, aber alle anderen funktionieren einwandfrei nur die Nextcloud Instance macht mir böse Probleme...

Die Frontends betreibe ich im HTTP Mode.

Logging ist zwar aktiviert, jedoch steht da für mich nichts spannendes...:

Nov 29 20:03:28 router haproxy[37356]: 91.249.7.34:51254 [29/Nov/2023:20:03:28.016] MSND-Server~ UDS-cloudst_ipvANY/<NOSRV> 0/-1/-1/-1/0 503 217 - - SC-- 1/1/0/0/0 0/0 "GET /index.php/204 HTTP/1.1"
Nov 29 20:04:30 router haproxy[37356]: 91.249.7.34:51254 [29/Nov/2023:20:04:30.020] MSND-Server~ UDS-cloudst_ipvANY/<NOSRV> 0/-1/-1/-1/0 503 217 - - SC-- 1/1/0/0/0 0/0 "GET /index.php/204 HTTP/1.1"
Nov 29 20:05:06 router haproxy[37356]: 10.0.1.10:61530 [29/Nov/2023:20:05:06.875] MSND-Server~ UDS-cloudst_ipvANY/<NOSRV> 0/-1/-1/-1/0 503 217 - - SC-- 5/5/0/0/0 0/0 "GET /favicon.ico HTTP/1.1"
Nov 29 20:05:07 router haproxy[37356]: 10.0.1.10:61530 [29/Nov/2023:20:05:07.232] MSND-Server~ UDS-cloudst_ipvANY/<NOSRV> 0/-1/-1/-1/0 503 217 - - SC-- 5/5/0/0/0 0/0 "GET /favicon.ico HTTP/1.1"
Nov 29 20:05:07 router haproxy[37356]: 10.0.1.10:61530 [29/Nov/2023:20:05:07.424] MSND-Server~ UDS-cloudst_ipvANY/<NOSRV> 0/-1/-1/-1/0 503 217 - - SC-- 5/5/0/0/0 0/0 "GET /index.php/apps/files/preview-service-worker.js HTTP/1.1"

Vielleicht findest du da noch was.

viragomann

@nd933
Sagt mir auch nichts.

Das Problem kann alle möglichen Ursachen haben. Wie erwähnt, hätte ich einen Fehler im Netzwerk in Verdacht, wie asymmetrisches Routing oder falsche Netzwerk-Konfig auf einem der beteiligten Geräte.

Du sagst, von intern funktioniert es. Auch von einem anderen Netzwerk-Segment? Du scheinst ja ein paar zu haben.

Auch die SSL Zertifikate kannst du überprüfen. HAproxy geht ja auf den HTTPS Port. Ist der auch richtig eingerichtet und wird ein Zertifikat vom Backend geliefert?
Gehst du auch von intern via https drauf?
Ist am Frontend auch das richtige Zertifikat zugewiesen?

Läuft diese Nextcloud direkt auf diesem Backend Server, oder innerhalb eines Containers? Dann könnte es auch da bei der Übergabe Probleme geben.

Und die Firewall am Backend würde ich auch mal zum Testen deaktivieren.

nd933

@viragomann

Sorry für die späte Rückmeldung.

Aktuell scheint der Fehler wieder behoben. Ich habe aber weder den Grund gefunden noch irgendetwas verändert.

nd933

@viragomann

Zu deinen Punkten:

Ja auch aus anderen Segmenten ist der Zugriff möglich.
Der HTTPS Port sowie auch die SSL Zertifikate sollten richtig eingestellt sein. (Scheint ja auch aktuell mit den Ports zu laufen.)
Ja ich gehe auch Intern per HTTPS drauf.
Im Frontend kann man auch im Browser sehen, das richtige Zertifikat hinterlegt. Der Fehler tritt auch auf, wenn ich von außen über den Port 80 also HTTP zugreife...
Die Nextcloud läuft in einem Container auf einem Proxmox Server hinter der PFsense VM
Die Firewall im Backend ist deaktiviert.