Google Suchergebnissseite wirft immer eine 403 - aus dem gesamten Netz.
-
@reco Ahoi,
403 heißt ja klar "Forbidden". Das wird von Google normalerweise nur ausgespielt, wenn man aus irgendeinem Grund geblockt wird. Nochmal zum Verständnis:
Wann genau kommt denn die 403 Seite?
- Geht die Google Suchseite auf? -> https://www.google.de
- Suchebegriff absenden?
- Klick auf eines der Resultate der Suche?
Das war mir beim Durchlesen noch nicht so ganz klar.
Dann zusätzlich: hast du die Möglichkeit, dass du auf einem Client ein VPN installierst/nutzt? Also ggf. irgendeine freie Variante vllt. von ProtonVPN o.ä.? Muss kein anderes Land sein, am besten gleiches Land wie du selbst bist und dann nochmal testen?
Ich würde nämlich eher mutmaßen, dass dein Problem auf Grund eines IP-Shadowbans passiert und nicht weil mit der pfSense irgendwas falsch läuft. Ansonsten: welche DNS Server werden genutzt (nicht nur auf der Sense, sondern für die Clients)?
Cheers
\jens -
@jegr Danke für die Einschätzung. Ich habe bei Google auch schon das Formular bzgl. der IP zwei mal ausgefüllt und abgesendet. Mal schauen ob das zu überhaupt irgendetwas führt.
VPN teste ich nochmal. Hatte mich zwar auf die Plusnet Aussage verlassen aber ganz Wohl ist mir da auch nicht.
Zu der Frage, wann es kommt:
- www.google.de (geht)
- Suchbegriff eingeben (geht - auch Autocomplete macht Vorschläge)
- Enter -> 403 statt Ergebnissseite
Melde mich gleich nach dem VPN Test.
-
@jegr Mit einer vpn ip aus Deutschland (btw. kostenfrei über protonVPN) läufts. Also scheint die naheliegendste Vermutung von ganz Anfang doch richtig zu sein. Zumindest für jetzt.
Im Plusnet-Support öffne ich mal wieder das Ticket und frag mal nach, wie genau die das getestet haben... das ist schon ärgerlich.
Hat jemand Erfahrung mit so einem Ban? Wie erreicht man wieder die Entsperrung, falls es wirklich einer ist?
-
@reco OK also direkt NACH dem ersten Submit. Das würde für die ShadowBan Theorie sprechen, dann geht die Startseite/Suchseite nämlich oft noch, danach wird aber 403 geblockt. Wäre also durchaus eine Möglichkeit, auch wenn man dazu normalerweise einiges an API/Anfragen an Google raushauen muss bevor die eine IP oder eine Range blocken. Aber es klingt schon danach, als wäre es eine Entscheidung auf Grund von Kriterien wie IP und/oder UserAgent o.ä.
Da die Firewall außer Block/Pass - ohne IDS und Kram - ansonsten da eigentlich nichts weiter tut, würde ich schon vermuten, dass der Faktor von außen kommt. Wie IP oder DNS bspw. Ansonsten wäre das schon äußert merkwürdig.
Es gibt (aber auch) Extensions und DNS Möglichkeiten (u.a. auch im pfBlocker!), die on the fly versuchen, die Google Suche/Requests umzuschreiben bspw. auf Safe-Search um als Kindersicherung o.ä. zu agieren. Eventuell auch das ggf. mal untersuchen, da könnte auch Browser oder DNS mit im Spiel sein. Wobei Browser bei der Breite an Geräten eher unwahrscheinlich ist. Und da du meintest "trat auch ohne pfBlocker auf", müsste da schon was anderes vor deiner Sense sitzen, die DNS Queries umschreibt. Wäre merkwürdig.
DNS macht die Sense selbst? Mit DNS Resolver? Forwarding aktiv oder Resolving Mode?
Wenn Forwarding genutzt wird, mal absichtlich auf Resolver umschalten, damit DNS anders abgefragt wird.Gruß
-
@jegr Ja DNS, macht die PFSense. Da ich noch einen zweiten im Netz habe, habe ich zur sicherheit dem Testclient mal manuell alles eingetragen und sämtliche DNS Caches geleert.
Browser schließe ich aus, da ich das tatsächlich mit allen möglichen Geräten und Browsern getetest habe.
Kinderschutz u.ä. und blockaden über die DNS habe ich keine (die ich kenne).
Nutze den DNS Resolver, mit einigen eigenen Einträgen.
Im Client sieht der DNS-Eintrag so aus:
DNS-Server . . . . . . . . . . . : 192.168.85.30
8.8.8.8@JeGr Dank nochmals. Ich hatte im ersten Post ein Packettrace gepostet. Da sind einige bad cksum s drin. Ist das normal? In dem Detail bin ich ein totaler Fremder...
-
@reco OK also erster DNS lokal die Sense, zweiter ist Google selbst. Sollte damit erst recht eigentlich keine Probleme haben.
Die Bad Chksums sind meistens von der Netzwerkhardware schlechte/falsche Prüfsummen bzlg. Hardware Offloading. Kann man unter System/Adv. unter Netzwerk abschalten, default sind schon 2/3 Offloads aus, das dritte kann/sollte man auch ausmachen. Die NIC Treiber/HW ist da nie wirklich gut mit warm geworden. Es macht aber keinen Fehler oder ist kein Problem.
Hast dus zwischenzeitlich mal mit VPN probiert, ob es dann auch auftritt`?
-
Ja, der VPN Test war positiv.
@reco said in Google Suchergebnissseite wirft immer eine 403 - aus dem gesamten Netz.:
@jegr Mit einer vpn ip aus Deutschland (btw. kostenfrei über protonVPN) läufts. Also scheint die naheliegendste Vermutung von ganz Anfang doch richtig zu sein. Zumindest für jetzt.
Im Plusnet-Support öffne ich mal wieder das Ticket und frag mal nach, wie genau die das getestet haben... das ist schon ärgerlich.
Hat jemand Erfahrung mit so einem Ban? Wie erreicht man wieder die Entsperrung, falls es wirklich einer ist?
-
@reco Das heißt was genau?
-
@jegr ja, mit einer VPN Verbindung ist eine Google Suche ausführbar. Sprich, es kommt dann keine 403. Dabei hatte ich auf einem Client im Netzwerk einen VPN-Client eingerichtet, der über einen Server in Deutschland raus ging.
Der Google-Support hat gemeldet, dass sie keinen Support leisten
und verwies auf die User-Groups. Dort melden aber Nutzer nur, dass man den Fehler bei sich suchen soll 
Plusnet, unser Provider, schaut auch nochmal, ob das ggf. im gesamten Subnetz ist.
Mal sehen, was rauskommt. Momentan behelfen wir uns mit startpage.com, duckduckgo, bing und co. Aber so eine richtige Alternative ist das ganze nicht.
-
@reco said in Google Suchergebnissseite wirft immer eine 403 - aus dem gesamten Netz.:
Momentan behelfen wir uns mit startpage.com, duckduckgo, bing und co. Aber so eine richtige Alternative ist das ganze nicht.
Mache das selbe, da ich einen VPN-Anbieter nutze und google sowas offensichtlich nicht duldet und stets und ständig mit captchas nervt.
-
@reco said in Google Suchergebnissseite wirft immer eine 403 - aus dem gesamten Netz.:
Mal sehen, was rauskommt. Momentan behelfen wir uns mit startpage.com, duckduckgo, bing und co. Aber so eine richtige Alternative ist das ganze nicht.
DuckDuckGo finde ich ja ansonsten eh die sinnvollere Alternative. Ja die Suche mag im ersten Moment nicht ganz so ergiebig sein, aber man findet seinen Kram schon auch nur ohne Google Tracking :)
Trotzdem ist das dann natürlich ein Problem ggf. eures Providers und das sollte er mal dringend untersuchen. Denn das VPN belegt dann ja eindeutig, dass es vom gleichen Client mit anderer IP funktioniert.
-
@reco said in Google Suchergebnissseite wirft immer eine 403 - aus dem gesamten Netz.:
Mal sehen, was rauskommt. Momentan behelfen wir uns mit startpage.com, duckduckgo, bing und co. Aber so eine richtige Alternative ist das ganze nicht.
Startpage.com verwendet doch die Google Suche. Sollte also dieselben Ergebnisse liefern, abgesehen von gewissen Personalisierungen. Aber mag natürlich sein, dass das manchen Leuten dann fehlt.
-
ich nutze schon seit einiger Zeit https://www.ecosia.org
und bin sehr zufrieden -
Hallo Zusammen,
da die Sache nun geklärt ist, möchte ich die Lösung hier erwähnen.
nach dem wir sämtliche Paketgrößeneinstellungen und Routings und Firmware und und und gecheckt, erneuert, ausgetauscht haben, hat sich der Fehler nicht beheben lassen.
Eine anfängliche Vermutung, durch google blockiert zu sein, ließ sich mit einem VPN-Test quasi bestätigen. Dazu habe ich über eine komerzielle VPN Verbindung eine Suche ausgeführt, die tatsächlich funktionierte.
Mit hilfe unseres DSL-Providers haben wir dann das IP-Subnetz gewechselt, so dass wir nun neue IPs haben. Der Fehler ist behoben und alle können nun wieder google besurfen.
Warum wurden wir gesperrt? Dazu gibt es seitens Google keinen Ansprechpartner und keine Aussage. Dass wir unverhältnismäßigen traffic auf google verursachen, das ist nicht der Fall. Die ein und ausgehenden requests sind eindeutig. Teilweise wurden PCs auf bekannte Viren und Bots durchsucht. Nichts auffälliges.
Eine Vermutung ist, dass Google einen bestimmten IP-Bereich sperrt, worunter wir dann auch gefallen sind. Hätten wir eine dnamische IP, so wäre das Phänomen einfach von alleine, beim nächsten IP-Wechsel, verschwunden.
Ich hoffe, das bringt noch weitere betrfoffene weiter...
Viele Grüße
reco -
@reco Danke für den kurzen Recap selbst nach 4 Monaten! Sehr anständig und bringt alle weiter - vor allem da wir so festhalten konnten, dass es tatsächlich nicht die pfSense war an der Stelle.
Besten Dank!
-
@reco said in Google Suchergebnissseite wirft immer eine 403 - aus dem gesamten Netz.:
Eine Vermutung ist, dass Google einen bestimmten IP-Bereich sperrt, worunter wir dann auch gefallen sind.
Wäre auch meine Vermutung. Ist übliche Praxis, dass die Betreiber den gesamten IP-Bereich eines Übeltäters auf die Blacklist setzten, mach ich selbst auch so.
Der Unschuldige, der da mit reinfällt, hat eben Pech.Doch normalerweise werden solche Einträge nach einiger Zeit wieder automatisch von der Blacklist gelöscht.
-
Wobei für die allgemeine google-Suche? Als Viel-VPN-Nutzer kann ich sagen, dass man mit Captchas überzogen wird etc, aber 403 finde ich immer noch extrem merkwürdig, gerade von google.
