App kommt nicht durch HAProxy

[Alcamar]

@alcamar leider zu früh gefreut. Nachdem ich die OpenVPN-Verbindung geschlossen und neu geöffnet habe, kommt wieder die alte Meldung:
Unable to obtain answer...
Muss für heute aufgeben :-(

[viragomann]

@alcamar said in App kommt nicht durch HAProxy:

Ich habe nun das in NAT/Port Forward eingetragen:

Warum? Läuft der OpenVPN Server auf der LAN IP?

Die internen Netzwerke, also auch jenes mit dem DNS Server, wenn es mehrere gibt, müssen in "IPv4 Local Network/s" in den OpenVPN Server Einstellungen eingetragen werden, um die Route auf den Client zu pushen.
Ist das gemacht?

Im DNS Resolver muss bei den Interfaces auch OpenVPN ausgewählt werden, falls die Einstellung einmal verändert wurde. Standardmäßig müsste die Auswahl auf "all" stehen.

[Alcamar]

@viragomann
@viragomann said in App kommt nicht durch HAProxy:

Warum? Läuft der OpenVPN Server auf der LAN IP?

Nein, WAN. Die Zeile hatte ich da mal stehen und war auskommentiert. Ich habe sie aktiviert, ohne den Sinn verstanden zu haben.

@viragomann said in App kommt nicht durch HAProxy:

Die internen Netzwerke, also auch jenes mit dem DNS Server, wenn es mehrere gibt, müssen in "IPv4 Local Network/s" in den OpenVPN Server Einstellungen eingetragen werden, um die Route auf den Client zu pushen.

Ich habe nur ein LAN. Dann auch ein DMZ-Netzwerk und WAN.
Ein IPv4 Local Network/s" finde ich in den OpenVPN Einstellungen nicht.

[viragomann]

@alcamar
"Redirect gateway" pusht die Default Route für Upstreamtraffic auf den VPN Client. Es wird also am Client alles, was nicht im lokalen Netzwerk liegt, auf den VPN Server geroutet.
Damit sind zusätzliche Routen hinfällig.

Wie sieht es mit den Regeln aus?

Die IP des DNS ist ja vermutlich die LAN IP der pfSense, oder?
Wenn ja, kannst du diese anders erreichen? Bspw. Ping oder die WebGUI.
Du solltest dieselben Dienste übrigens auch über die VPN Server IP erreichen können, 10.2.1.1.

[Alcamar]

@viragomann

@viragomann said in App kommt nicht durch HAProxy:

Die IP des DNS ist ja vermutlich die LAN IP der pfSense, oder?

ja. das ist die 192.168.1.1.
Ich habe gerade in einem Thread einen Hinweis zu dem Problem gefunden, dass OpenVPN den DNS nicht findet. Bei den Advanced Client Setting von OpenVPN gibt es eine Stelle wo es heißt: Provide a DNS server list to clients. Addresses may be IPv4 or IPv6. Dort folgen dann die DNS-Server. Du hattest mir den Hinweis gegeben, dass dort die public DNS überflüssig sind. Gemäß Deinem Hinweis habe ich sie entfernt und dort nur den DNS Server 192.168.1.1 eingetragen. NS Lookup antwortet aber immer mit der DNS IP 192.168.178.1 (Fritzbox) und scheitert bei den Host Overrides Einträgen, während alle andere Adressen Antworten liefern. Also habe ich die IP 192.168.178.1 als DNS Server 2 in die OpenVPN Advances Settings eingetragen. Jetzt findet NS Lookup auch mit einer OpenVPN-Verbindung die Einträge.
Damit ist das Teilproblem gelöst, dass bei bestehender OpenVPN-Verbindung NS Lookup keine Antwort bei den eingetragegen Servern im Host Override zurückgibt.
Ich kann also nun an meinem ursprünglichen Problem arbeiten.

[Alcamar]

@alcamar Es ist zum Verzweifeln:

• Rufe ich die HandyApp (Hausautomation) aus dem Internet auf, funktioniert der Zugriff auf die App über den HAProxy.
• Über das hauseigene WLAN geht der gleiche Zugriff.

Mit WLAN liefert mir die nslookup-App auf dem Handy:
unable to obtain answer records of ... von name server 192.168.1.1, womit mir klar ist, warum es über WLAN scheitert, aber ich verstehe nicht warum. Der Hausautomationsserver ist im DNS Resolver in Host Overrides eingetragen. Damit sollte es doch eigentlich am HAProxy sogar vorbei laufen, oder?

Der oben erwähnte WLAN zugang geht über ein Access Point von unifi, der auch sauber sein IP-Adresse von der pfsense bekommt.
Nutze ich das WLAN der Fritzbox, die nicht über die pfsense geht und technisch nach meinem Verständnis zum WAN gehört, geht der Zugriff auch hier.

Kurzfassung:
Handy mit Adresse aus WAN-Adressraum kann die App aufrufen. Hat das Handy eine IP-Adresse auf dem LAN geht es nicht. Hat es mit den IANA zu tun und damit mit den Firewall-Regeln?
WAN

LAN

[viragomann]

@alcamar said in App kommt nicht durch HAProxy:

Stelle wo es heißt: Provide a DNS server list to clients. Addresses may be IPv4 or IPv6. Dort folgen dann die DNS-Server. Du hattest mir den Hinweis gegeben, dass dort die public DNS überflüssig sind. Gemäß Deinem Hinweis habe ich sie entfernt und dort nur den DNS Server 192.168.1.1 eingetragen. NS Lookup antwortet aber immer mit der DNS IP 192.168.178.1 (Fritzbox) und scheitert bei den Host Overrides Einträgen, während alle andere Adressen Antworten liefern. Also habe ich die IP 192.168.178.1 als DNS Server 2 in die OpenVPN Advances Settings eingetragen. Jetzt findet NS Lookup auch mit einer OpenVPN-Verbindung die Einträge.
Damit ist das Teilproblem gelöst, dass bei bestehender OpenVPN-Verbindung NS Lookup keine Antwort bei den eingetragegen Servern im Host Override zurückgibt.

Das ist keine Lösung, wenn die Fritzbox nicht die gewünschte Override IP kennt, oder hast du die da auch eingetragen?

Der DNS1 antwortet nicht, also nimmt die App den nächsten und das ist die FB.

Mit WLAN liefert mir die nslookup-App auf dem Handy:
unable to obtain answer records of ... von name server 192.168.1.1, womit mir klar ist, warum es über WLAN scheitert, aber ich verstehe nicht warum. Der Hausautomationsserver ist im DNS Resolver in Host Overrides eingetragen. Damit sollte es doch eigentlich am HAProxy sogar vorbei laufen, oder?

Ich nehme an, du erhältst dasselbe Ergebnis, wenn die eine beliebige existente Öffentliche Domain aus dem LAN abfragst?

Wenn, schau mal, ob das Interface, an dem der WLAN AP hängt, in den "Network Interfaces" im Resolver ausgewählt ist.

BTW: Die Regel am LAN mit "WAN net" als Source ist sinnlos. Am LAN dürfte kein Paket mit dieser Quelle-IP reinkommen.
Du kannst sie aufs WAN verschieben, macht aber nur Sinn, wenn der Client da eine Route für die LAN IP hat.

Und die Reject-Regel für DNS wird hinter der Pass-Regel auch nie eine Paket erhalten. Aber ich vermute, die Pass möchtest du noch einschränken.

[Alcamar]

@viragomann said in App kommt nicht durch HAProxy:

Das ist keine Lösung, wenn die Fritzbox nicht die gewünschte Override IP kennt, oder hast du die da auch eingetragen?

In der Fritzbox habe ich kein Override eingetragen.

@viragomann said in App kommt nicht durch HAProxy:

Ich nehme an, du erhältst dasselbe Ergebnis, wenn die eine beliebige existente Öffentliche Domain aus dem LAN abfragst?

stimmt, wenn sie in den Overrides aufgeführt ist gleicher Fehler. Sonst nicht.

@viragomann said in App kommt nicht durch HAProxy:

Wenn, schau mal, ob das Interface, an dem der WLAN AP hängt, in den "Network Interfaces" im Resolver ausgewählt ist.

Der AP hängt am LAN-Interface und im Resolver habe ich mittlerweile sowohl bei Network Interfaces als auch bei den Outgoing Network Interfaces "All" ausgewählt.

[viragomann]

@alcamar
Ist der AP auch tatsächlich einer, oder ist es ein Router?
Oder anders gefragt, am Handy im WLAN bekommst du eine IP aus dem LAN?

Dann schau mal mit Packet Capture, ob die Anfrage am LAN der pfSense auch ankommt. Also UDP /TCP am Port 53 sniffen, während du ein nslookup machst.

[Alcamar]

@viragomann said in App kommt nicht durch HAProxy:

Ich nehme an, du erhältst dasselbe Ergebnis, wenn die eine beliebige existente Öffentliche Domain aus dem LAN abfragst?

das will ich präzisieren:
Wenn ich auf einem Rechner im LAN "nslookup betreffende Domain" eingebe, antwortet der 192.168.1.1 mit der ip-Adresse des betroffenen Servers. Nehme ich das Host Override des Servers raus, geht die Anfrage auch ins Internet und liefert mir die öffentliche IP-Adresse meines Anschlusses. Also für meine Begriffe funktioniert es da.

Wenn ich auf dem Handy das gleiche mache (WLAN natürlich), funktioniert der Host Override nicht.

[Alcamar]

@viragomann said in App kommt nicht durch HAProxy:

Ist der AP auch tatsächlich einer, oder ist es ein Router?
Oder anders gefragt, am Handy im WLAN bekommst du eine IP aus dem LAN?

der AP hat insgesamt 4 WLANs Netzwerke und liefert sauber pro genutzer SSID eine ip-Adresse aus dem Netzwerk in dem ich mich einwähle.

@viragomann said in App kommt nicht durch HAProxy:

Dann schau mal mit Packet Capture, ob die Anfrage am LAN der pfSense auch ankommt. Also UDP /TCP am Port 53 sniffen, während du ein nslookup machst.

Es kommt was an

[viragomann]

@alcamar said in App kommt nicht durch HAProxy:

der AP hat insgesamt 4 WLANs Netzwerke und liefert sauber pro genutzer SSID eine ip-Adresse aus dem Netzwerk in dem ich mich einwähle.

Aber die sind doch nicht alle ins LAN gebrückt, oder??

Es kommt was an

Der DNS antwortet auch. Nun wäre interessant, was er antwortet. Das könntest du sehen, indem du den Detailpegel im Capture erhöhst auf high oder full.

[Alcamar]

@viragomann said in App kommt nicht durch HAProxy:

Aber die sind doch nicht alle ins LAN gebrückt, oder??

weiss nicht genau was Du meinst. LAN hat 192.168.1.1 und die 4 Netze die WLAN am LAN-Interface anbieten sind mit VLANs realisiert 192.168.2.1, 192.168.3.1, 192.168.4.1 und das LAN-Netz selbst hat kein separates VLAN.

@viragomann said in App kommt nicht durch HAProxy:

Der DNS antwortet auch. Nun wäre interessant, was er antwortet. Das könntest du sehen, indem du den Detailpegel im Capture erhöhst auf high oder full.

das ist in Blindenschrift geschrieben. :-)

16:57:19.832998 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 64)
    192.168.1.106.55048 > 192.168.1.1.53: Flags [S], cksum 0x71ff (correct), seq 2477448579, win 65535, options [mss 1460,nop,wscale 6,nop,nop,TS val 1184870965 ecr 0,sackOK,eol], length 0
16:57:19.833078 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 60)
    192.168.1.1.53 > 192.168.1.106.55048: Flags [S.], cksum 0x83ea (incorrect -> 0xdd59), seq 279092199, ack 2477448580, win 65228, options [mss 1460,nop,wscale 7,sackOK,TS val 2474534595 ecr 1184870965], length 0
16:57:19.842884 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.106.55048 > 192.168.1.1.53: Flags [.], cksum 0x02de (correct), seq 1, ack 1, win 2058, options [nop,nop,TS val 1184870976 ecr 2474534595], length 0
16:57:19.842948 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 90)
    192.168.1.106.55048 > 192.168.1.1.53: Flags [P.], cksum 0xbe81 (correct), seq 1:39, ack 1, win 2058, options [nop,nop,TS val 1184870976 ecr 2474534595], length 38 24259+ ANY? x.xxxx.xxxxxxxx.de. (36)
16:57:19.842955 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.1.53 > 192.168.1.106.55048: Flags [.], cksum 0x83e2 (incorrect -> 0x08b7), seq 1, ack 39, win 513, options [nop,nop,TS val 2474534605 ecr 1184870976], length 0
16:57:19.843015 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 90)
    192.168.1.1.53 > 192.168.1.106.55048: Flags [P.], cksum 0x8408 (incorrect -> 0x3fd9), seq 1:39, ack 39, win 514, options [nop,nop,TS val 2474534605 ecr 1184870976], length 38 24259* q: ANY? x.xxxx.xxxxxxxx.de. 0/0/0 (36)
16:57:19.847471 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.106.55048 > 192.168.1.1.53: Flags [.], cksum 0x0284 (correct), seq 39, ack 39, win 2058, options [nop,nop,TS val 1184870980 ecr 2474534605], length 0
16:57:19.857987 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.106.55048 > 192.168.1.1.53: Flags [F.], cksum 0x0277 (correct), seq 39, ack 39, win 2058, options [nop,nop,TS val 1184870992 ecr 2474534605], length 0
16:57:19.858006 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.1.53 > 192.168.1.106.55048: Flags [.], cksum 0x83e2 (incorrect -> 0x0870), seq 39, ack 40, win 514, options [nop,nop,TS val 2474534620 ecr 1184870992], length 0
16:57:19.858050 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.1.53 > 192.168.1.106.55048: Flags [F.], cksum 0x83e2 (incorrect -> 0x086f), seq 39, ack 40, win 514, options [nop,nop,TS val 2474534620 ecr 1184870992], length 0
16:57:19.862280 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.1.106.55048 > 192.168.1.1.53: Flags [.], cksum 0x0263 (correct), seq 40, ack 40, win 2058, options [nop,nop,TS val 1184870996 ecr 2474534620], length 0

Die Adresse habe ich geixt

[viragomann]

@alcamar said in App kommt nicht durch HAProxy:

weiss nicht genau was Du meinst. LAN hat 192.168.1.1 und die 4 Netze die WLAN am LAN-Interface anbieten sind mit VLANs realisiert 192.168.2.1, 192.168.3.1, 192.168.4.1 und das LAN-Netz selbst hat kein separates VLAN.

Dann ist es ein WLAN-Router und hat vermutlich auch seine eigenen DNS-Server Einträge in den DHCP-Einstellungen, die er ausliefert und möglicherweise auch seine eigenen Regeln.
Die pfSense selbst sieht ja dann gar nicht die tatsächlich IP des Endgerätes. Welche IPs da dann anfragen mit .101 u. 106, musst du wissen. Mglw. ist eine davon der AP.

Läuft die pfSense virtualisiert? Wenn ja, auf welcher Basis?

[NOCling]

Das VPN Netz mal in die DNS Resolver Access List eintragen und schauen ob er dann antwortet.

[Alcamar]

@viragomann Die pfsense ist nicht virtualisiert.
Der AP bekommt eine IP von der pfsense und DHCP läuft für die VLANs auch über die pfsense. Auf dem AP habe ich DHCP ausgeschaltet. Die Firewall-Regeln funktionieren, was aber nicht heißen muss, dass der AP trotzdem ungefragt Router spielt. Dort kann ich mal nach anderen Einträgen gucken, die Routing-Funktionalitäten unterbinden.

[Alcamar]

@nocling Ist in der Access List eingetragen. VPN ist auch nicht einmal mehr das Problem, denke ich. Vielmehr ist das Verhalten des DNS-Server komisch. Der Aufruf per WLAN-Verbindung geht nicht aus dem eigenen Netz. Damit kann ich die App (über HAProxy) nicht aufrufen. Sonst geht es aber aus dem Internet über HAProxy. Ich suche das Problem derzeit nicht mehr im HAProxy.

[viragomann]

@alcamar
Verdammt, bin auf der Leitung gestanden.
Ich sehe da nur TCP Pakete in den pcaps. Damit funktioniert es meist nicht.
Normalerweise versucht der Client ein Abfrage via UDP. Grund dafür, via TCP abzufragen, kann sein, dass TCP nicht erlaubt ist.

Wo das eingeschränkt wird, solltest du überprüfen. Die oben gezeigte Regel erlaubt es ja.
Also vielleicht doch ein Problem mit dem WLAN Router.

Warum du den als Router betreibst, ist mir übrigens immer noch nicht klar. Vielleicht könntest du uns auch das mal erklären.

[Alcamar]

@viragomann said in App kommt nicht durch HAProxy:

Warum du den als Router betreibst, ist mir übrigens immer noch nicht klar. Vielleicht könntest du uns auch das mal erklären.

Nach meiner Zielvorstellung soll der AP nicht Router sein.
Ich will einen AP der mir 4 SSIDs bereitstellt: Privat, Gast, IOT, Work

Der AP ist über ein managed Switch (Zyxel1900-24E) mit dem LAN der pfsense verbunden. In der pfsense sind 3 VLANs definiert, die mit DHCP-Server eigenständige Netze bereitstellen. Im AP ist ein Netzwerk definiert. Adressbereich deckt sich mit der LAN-Adressbereich. Der AP selbst bekommt per DHCP auch eine eigene IP-Adresse (192.168.1.10). Das LAN ist aber segmentiert in die genannten VLANs, die auch so auf dem AP getagged sind. Damit sollten nach meiner Vorstellung auf dem LAN Netzwerk drei VLANs aktiv sein und so komme ich auf meine o.g. SSIDs. Die Vergabe der IPs durch die pfsense funktioniert. Die mobilen Devices kommen auch von jedem WLAN, wo sie sich einwählen, ins Internet. Also scheint alles so zu laufen wie es gedacht ist. Bis auf das geschilderte Problem. Ob der AP Router-"Ambitionen" hat, prüfe ich gerade. Der AP bekommt seine IP-Adressen für die VLANs und den DNS-Server. Die Einträge sehe ich auch auf Handys und Tablets. Der DNS läßt sich auch vom Handy anpingen. Trotzdem fehlt da noch etwas oder Deine Vermutung ist richtig, dass der AP auch Router sein will.

[viragomann]

@alcamar
Naja, das kam von dir:

LAN hat 192.168.1.1 und die 4 Netze die WLAN am LAN-Interface anbieten sind mit VLANs realisiert 192.168.2.1, 192.168.3.1, 192.168.4.1 und das LAN-Netz selbst hat kein separates VLAN.

Ich nehme eben an, dass das alles /24er Subnetze sind.

In den Captures sehe ich aber nur Quell-IPs aus 192.168.1.0/24, also aus dem LAN. Das lässt mich annehmen, dass der "AP" die Pakete natted, nachdem du sagst, dass sie von den Wifi Geräten initiiert wurden.

Zu den Quell-IPs, die die Captures zeigen, habe ich schon eine Frage gestellt. Blieb unbeantwortet und daher die Vermutung aufrecht.