Mehrere WTS Server in RZ mit PFSENSE - wie websperren umgehen ?
-
Hallo zusammen
wir betreiben mehrere Windows Terminalserver (Neudeutsch RDP Server) in 2 Rechenzentren. PFsense fungiert hier intern als Router, Firewall und VPN Server.
Soweit so gut.
Seit einigen Wochen bin ich mit dem Problem konfrontiert dass mehrere mehr oder minder prominente Webseiten den Zugriff von den RZ ip´s unterbinden.
Da kommt dann eine wunderschöne Fehlerseite dass der Zugriff verweigert ist weil man angeblich per VPN oder ählichem versucht auf die WS zuzugreifen.
Mit beiden RZ Betreibern haben wir schon alternative ausgehende IP´s aus unterschiedlichen Netzen probiert - leider bisher immer mit dem gleichen negativen Ergebnis zudem hatte ich natürlich versucht mit den WS Betreibern kontakt aufzunehmen um ein Whitelisting zu erreichen da kam dann entweder garnix zurück oder die Antwort dass automatismen seien welche sie nicht beeinflussen können...
Fakt ist ich brauche einigermaßen schnell eine Lösung für das Dilemma....
Hat irgendwer eine Idee wie man das Thema anpacken kann ?
Ein RZ Wechsel kommt nicht in Frage zumal es bei beiden Anbietern das gleiche Problem ist.
Ich hatte auch telefonisch Kontakt mit einem RZ Mitarbeiter der unter vorgehaltener Hand dann sagte dass Sie wohl seit längerem mit dem Thema kämpfen und große WS anbieter teilweise ganze IP Blöcke fälschlicherweise als VPN Traffic "annehmen" und diese sperren.Wie gesagt - any Ideas ?
Grüße
-
@gtrdriver said in Mehrere WTS Server in RZ mit PFSENSE - wie websperren umgehen ?:
Hat irgendwer eine Idee wie man das Thema anpacken kann ?
Ein RZ Wechsel kommt nicht in Frage zumal es bei beiden Anbietern das gleiche Problem ist.
Ich hatte auch telefonisch Kontakt mit einem RZ Mitarbeiter der unter vorgehaltener Hand dann sagte dass Sie wohl seit längerem mit dem Thema kämpfen und große WS anbieter teilweise ganze IP Blöcke fälschlicherweise als VPN Traffic "annehmen" und diese sperren.-
Welche Webseiten oder zumindest von welcher Art Webseiten reden wir denn? Es gibt ja durchaus mehrere Sparten, die z.B. aus sinnvollen Gründen inzwischen aktiv DC IP-Bereiche sperren und das meistens durch ASN Blocking und Co. Je nachdem kann man dann daraus Schlüsse ziehen, was man dagegen kontern könnte
-
RZ Wechsel macht da wenig Sinn, denke ich auch. Wenn aktiv DC/RZ IP-Ranges gesperrt werden, dann macht es wenig Sinn zu jemand anderem zu wechseln wenn der auch gesperrt ist oder kurz darauf gesperrt wird.
-
Ja, IP Blocking ist (leider) oft recht unscharf, je nachdem wieviel Geld die in die Hand nehmen (wollen) und welcher Anbieter das ist. Gleiches mit GeoIP und Co. Da fallen immer mehr drunter.
Problem bei der Sache sind auch die "tollen" und vielgepriesenen "AI" Bots von diversen LLMs die sich einfach einen F*** darum scheren, dass man nicht gecrawlt werden möchte. Als jemand, der beruflich auch mit Hosting und Co zu tun hat - es ist die Pest. Darum verstehe ich natürlich auch die Gegenseite mit Webseiten, die keinen Bock haben täglich sich mit Wellen an Bots, Crawlern und LLM-Agents rumzuschlagen, die mehr Traffic bzw. Last erzeugen als die eigentlichen Besucher und dank Traffic dann auch noch die Kosten der Betreiber hochtreiben.
Darum kommt es in dem Fall glaube ich schon ein wenig drauf an, gegen was die WS hier versuchen sich zu verteidigen. Da gerade auch LLMs gerade Richtung DDOS-artigen Taktiken gehen um weiter ihren Inhalt crawlen zu "dürfen" und dazu auch Dinge wie Residential-Proxy-Networks nutzen (oft durch IoT Malware entstandene Botnetze aber auch freiwillige Proxies die von "normalen" Endkunden-IPs zu kommen scheinen), wird es immer schwerer zu differenzieren.
Cheers
-
-
Hi
ja - ein paar Tage später und ich bin tatsächlich schlauer ....
Eine Beispiel Seite ganz öffentlich zugänglich ist "mobile.de"
NAch Rücksprache intern blockt man alles was "via VPN" rein kommt - also alles was anonymisiert ist - meinen sie ...DAs machen die auch nciht selbst sonst könnten die unsere IP Whitelisten - das läuft über irgendwelche Dienstanbieter die offenbar ganze IP Blöcke sperren da sie zu RZ gehören und RZ = VPN - was für ein Wahnsinn ....
Mit dieser Erkenntnis habe ich folgende Versuche gemacht:
An einem lokal laufenden Glasfaser Anschluss mit pfsense Squid installiert und auf dem WTS Squid als Proxy vorgegeben - schupps - alle webseiten laufen.
Ich habe dann bei 15 anderen RZ Anbietern VServer oder cloud Server gemietet und versuchsweise dort ebenfalls Squid installiert - entsprechend der Reihe nach alle getestet - Ergebniss - ALLE - wirklich ALLE wurden geblockt ...
Unfassbar .....
Aktuelle temporäre Lösung:
Ein angepasstes proxy.pac script welches die kritischen Webseiten definiert und diese über den auf der lokalen Glasfaser Seite liegenden Squid Proxy schickt.
Alleine beim Gedanken darüber wird mir zwar schlecht - aber es ist der weg der aktuell funktioniert ...
Gruß
-
@gtrdriver said in Mehrere WTS Server in RZ mit PFSENSE - wie websperren umgehen ?:
Ein angepasstes proxy.pac script welches die kritischen Webseiten definiert und diese über den auf der lokalen Glasfaser Seite liegenden Squid Proxy schickt.
Autsch. Und das Spiel wird weiter gehen. Wie gesagt ist der letzte "heiße Scheiß" leider residential Proxies bei dem man dann von normalen Endkundenanschlüssen aus crawlt bzw. seine Bots, Webscraper, LLM Agents und Co agieren lässt. Wir hatten solche (ich nenne es) "Angriffe" schon. Die sind extrem ausgetüftelt, dass man sie nicht IP technisch blocken kann - sonst schließt man schlicht alle Endkunden aus. Extrem nervig. Der ganze Scheiß macht leider das nutzbare Web immer mehr kaputt :/
Cheers
