Hohe Latenz und Paketverlust

ShaneDeak

Hallo zusammen,

leider habe ich seit ca. 2 Wochen Probleme mit hoher Latenz und Paketverluste auf dem Default WAN Gateway.

Wie am heutigen Beispiel (orange Linie) zu sehen, tritt die hohe Latenz nicht durchgehend auf.

Folgendes habe ich bereits versucht, um das Problem zu lösen bzw. herauszufinden, woran es liegen könnte:

neueste Version von pfSense installiert (2.7.2)
ntopng installiert, aber bisher nichts Aussagekräftiges gefunden
andere Internetleitung getestet

Hat jemand Vorschläge für mich, wie ich das Problem eingrenzen könnte?

Vielen Dank und beste Grüße

slu

@ShaneDeak said in Hohe Latenz und Paketverlust:

leider habe ich seit ca. 2 Wochen Probleme mit hoher Latenz und Paketverluste auf dem Default WAN Gateway

Vielleicht hat der Gateway ein Problem?
Evtl. mal gegen ein anderen Server (Monitoring IP) prüfen?

viragomann

@slu said in Hohe Latenz und Paketverlust:

Vielleicht hat der Gateway ein Problem?
Evtl. mal gegen ein anderen Server (Monitoring IP) prüfen?

Das würde aber an dem Problembild nur was ändern, wenn es ausschließlich die ICMP Replies betrifft. Wenn das Gateway ein grundsätzliches Problem mit der Paketvermittlung hat, würde eine andere Monitoring IP auch nichts daran verbessern, die Pakete müssten ja durch.

@ShaneDeak
Dass du von Default Gateway sprichst, lässt vermuten, dass es auch noch ein anderes gibt. Wenn, wie sieht es damit aus?

Gibt es auch ein Modem in der Leitung?
Was ist es für eine Anbindung?

Hast du vielleicht auch die Möglichkeit, eine andere Hardware als Router zu testen?

NOCling

Welcher Anschlusstyp?
Welcher Peovider?
Was ist die Monitoring IP?

slu

Etwas OT, wir hatten in den letzten Wochen immer wieder den Fall das einer unserer Telekom Anschlüsse über AT/Wien geleitet wurde, die Laufzeit war dann bis zu 300ms und die Leitung quasi nicht benutzbar.

Das ganze war sporadisch vorhanden, dann war das Routing wieder ok und ein paar Tage ging das wieder los, war gut mit traceroute zu sehen.

Spannend war auch das es immer nur einen von zwei VDSL Anschlüssen betroffen hat.

viragomann

@slu said in Hohe Latenz und Paketverlust:

Etwas OT,

Nein, passt doch.

wir hatten in den letzten Wochen immer wieder den Fall das einer unserer Telekom Anschlüsse über AT/Wien geleitet wurde, die Laufzeit war dann bis zu 300ms

Das würde ich mir nicht mal erwarten, wenn es per VPN über Tokyo läuft...

slu

@viragomann

ja das war nicht lustig, muss aber dazu sagen das zwei ISP beteiligt waren, daher ist es für mich schwierig zu sagen wer jetzt am schlechten Peering schuld war...

Bob.Dig

Tja, wer war das wohl.

@slu said in Hohe Latenz und Paketverlust:

Telekom Anschlüsse

slu

@Bob-Dig
ich kann dir das nicht sicher sagen, die Strecke war purISP DE - Level3 (Wien) - Telekom DE.
Die 300ms entstanden wenn ich mich richtig erinnere zwischen Level3 und der Telekom.

NOCling

Kannst ja, wenn das auftritt mal ein Tool wie Pingplotter verwenden, das zeigt dir dann wo genau es klemmt.

Sehe da eher ein Provider Problem.

ShaneDeak

Hallo zusammen,

sorry, dass ich erst jetzt wieder antworte. Inzwischen konnte ich das Problem weiter eingrenzen.

Es sind tausende solcher DNS-Anfragen, die das Netz lahmlegen.

Habe festgestellt, dass die Anfragen vom DNS-Server eines Windows-Servers in einer per VPN verbundenen Niederlassung kommen. Sobald ich den DNS-Server dort beende, normalisieren sich Latenz und Paketverluste wieder.

Auf dem betroffenen Windows-Server habe ich aber keine Schadsoftware gefunden, daher stellt sich nun die Frage, woher dieser die Anfragen bekommt.

Hier sieht man noch gut, wie die DNS-Server mit den Anfragen offenbar Ping Pong spielen.

Vielleicht hat jemand so etwas ja schon mal gesehen.

Vielen Dank und beste Grüße

NOCling

Kann ein Client sein der den Server im Standort anfragt.

Mit einer Überschrift bei den Zeilen könnte man das besser interpretieren.

Das ist einer der Gründe, warum ich jeglichen DNS Datenverkehrt auf meine pfSense umbiege, so frage ich nur einmal im WAN und dann greift der Cache.
Aber warum fragt der Server nicht deine pfSense, sondern er will direkt im Iet anfragen?
Wie hast du das Forwarding für DNS gelöst?

slu

Wir haben heute wieder massive Latenz und Paket Verlust, evtl. gehen deine DNS Anfragen verloren und werden wiederholt?

Stand 12.01.2024 ~ 9:18 Uhr ein Ping über einen OpenVPN UDP Tunnel von der einen pfSense auf die andere:

PING 192.168.12.1 (192.168.12.1) 56(84) bytes of data.
64 bytes from 192.168.12.1: icmp_seq=1 ttl=63 time=102 ms
64 bytes from 192.168.12.1: icmp_seq=4 ttl=63 time=103 ms
64 bytes from 192.168.12.1: icmp_seq=5 ttl=63 time=98.8 ms
64 bytes from 192.168.12.1: icmp_seq=7 ttl=63 time=91.6 ms
64 bytes from 192.168.12.1: icmp_seq=10 ttl=63 time=91.3 ms
64 bytes from 192.168.12.1: icmp_seq=13 ttl=63 time=89.1 ms
64 bytes from 192.168.12.1: icmp_seq=14 ttl=63 time=89.5 ms
64 bytes from 192.168.12.1: icmp_seq=15 ttl=63 time=92.7 ms
64 bytes from 192.168.12.1: icmp_seq=16 ttl=63 time=91.6 ms
64 bytes from 192.168.12.1: icmp_seq=17 ttl=63 time=82.6 ms
64 bytes from 192.168.12.1: icmp_seq=18 ttl=63 time=94.9 ms

84 packets transmitted, 59 received, 29.7619% packet loss, time 83519ms
rtt min/avg/max/mdev = 29.509/78.218/143.459/27.896 ms

ShaneDeak

Als zweite Grafik wollte ich oben eigentlich die hier einfügen:

ShaneDeak

@NOCling said in Hohe Latenz und Paketverlust:

Kann ein Client sein der den Server im Standort anfragt.

Mit einer Überschrift bei den Zeilen könnte man das besser interpretieren.

Das ist einer der Gründe, warum ich jeglichen DNS Datenverkehrt auf meine pfSense umbiege, so frage ich nur einmal im WAN und dann greift der Cache.
Aber warum fragt der Server nicht deine pfSense, sondern er will direkt im Iet anfragen?
Wie hast du das Forwarding für DNS gelöst?

Wir haben zwei Standorte mit jeweils einer pfSense und jeweils einer eigenen Windows-Domäne.

Auf beiden pfSense sind die DNS-Forwarder gleich konfiguriert:

Also eigentlich nur die Standard-Einstellungen.

An beiden Standorten läuft dann noch der DNS-Server auf den DCs.

Besten Dank für die Unterstützung!

viragomann

@ShaneDeak
DNS-Forwarder aktiviert und in den General Settings steht dann ausschließlich der lokale DNS Server?

Dann sollte eigentlich absolut nix über die VPN laufen.

Die Anfragen deuten jedenfalls auf eine Malware hin. Also solltest du lokal rausfinden, von welchem Client sie kommen und diesen erst mal kalt stellen.

ShaneDeak

@viragomann said in Hohe Latenz und Paketverlust:

DNS-Forwarder aktiviert und in den General Settings steht dann ausschließlich der lokale DNS Server?

Ich habe zwei WAN-Gateways und in den General Settings für jedes Gateway einen externen DNS-Server eingetragen. Ist das nicht richtig so?

viragomann

@ShaneDeak
Nein. Das zwingt einen Request über das angegebene Gateway.
Ein Gateway ist da nur einzutragen, wenn der angegebene DNS ausschließlich über dieses zu erreichen ist. Bspw. der DNS Server des Internet-Providers.

ABER noch einmal:
Du hast einen internen DNS Server. Dieser sollte doch auch genutzt werden. Und DNS Lookups sollte doch dann ausschließlich dieser machen.
Dann konfigurierst du doch am besten alle Geräte so, dass sie direkt diesen Server abfragen. Das kannst du auch per DHCP an die Geräte verteilen.

Ein Forwarder auf der pfSense ist dann gar nicht nötig. Aber wenn, dann sollte in General Setup der interne DNS Server eingetragen sein, damit die Anfragen dahin weitergeleitet werden.

Auf der pfSense kannst du dann noch per Filterregel nur dem DNS Server Lookups nach draußen erlauben.

ShaneDeak

@viragomann
Die pfSense ist der DHCP und dort übergebe ich auch den internen DNS-Server an die Geräte. Jetzt habe ich auch im General Setup nur noch den internen DNS, ohne Gateway-Zuweisung, eingetragen.

Danke!

NOCling

Würde den AD Server an die Clients als DNS raus geben, im AD aber die Sense als forwarding hinterlegen.
Die Sense dann als reinen Resolver mit Cache laufen lassen.

So hast du eine saubere Struktur.

Aber ja, könnte was unerwünschtes sein, was auf einem Client ausgeführt wird.