» Google kommt auch ohne Googlebot User Agent

mgutt · 09.11.2015, 10:00

Der Googlebot ist in meiner Firewall gelandet, weil er sich nicht wie üblich mit seinem User-Agent gezeigt hat, sondern mit einem normalen:

    [HTTP_USER_AGENT] => Mozilla/5.0 (en-US) AppleWebKit/537.36 (KHTML, like Gecko; Hound) Chrome/27.0.1453 Safari/537.36
    [HTTP_ACCEPT_ENCODING] => gzip,deflate
    [HTTP_FROM] => googlebot(at)googlebot.com

Passiert ist das über mehrere IPs:
66.249.92.110
66.249.89.3
66.249.89.6
66.249.89.9
209.85.238.94

Ungewöhnlich, denn normalerweise enthält der User Agent immer das Wort "Google":
https://support.google.com/webmasters/answer/1061943?hl=de

Chris83es · Newbie Anmeldedatum: 29.05.2012 Beiträge: 13

Seit über 10 Jahren tut er das. Er kommt sogar auch vollständig incognito mit IP Adressen abseits der bekannten google Netze. Hintergrund ist, dass schon vor zig Jahren Seiten (nennt sich cloaking) zum einen für den bot und zum anderen für normale Surfer angezeigt wurden, um in den SERPs besser zu ranken. Daher kommt google ab und an vorbei und überprüft das. Das wird selbstverständlich abgestraft von google, sofern entdeckt.

Übrigens kommt google auch mit mobile useragents, um zu überprüfen, ob eine Seite responsive ist. mobile-first ist definitv ein ranking Faktor.

programmierer-forum.de · Gast

Mach mit!

Wenn Dir die Beiträge zum Thread "Google kommt auch ohne Googlebot User Agent" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden:

Registrierte Mitglieder genießen die folgenden Vorteile:
✔ kostenlose Mitgliedschaft
✔ keine Werbung
✔ direkter Austausch mit Gleichgesinnten
✔ neue Fragen stellen oder Diskussionen starten
✔ schnelle Hilfe bei Problemen
✔ Bilder und Videos hochladen
✔ und vieles mehr...

Autor	Nachricht
mgutt Administrator Name: Marc Geschlecht: Anmeldedatum: 28.08.2004 Beiträge: 52423 Wohnort: Lohmar Meine eBay-Auktionen:	09.11.2015, 10:00 zitieren Der Googlebot ist in meiner Firewall gelandet, weil er sich nicht wie üblich mit seinem User-Agent gezeigt hat, sondern mit einem normalen: `[HTTP_USER_AGENT] => Mozilla/5.0 (en-US) AppleWebKit/537.36 (KHTML, like Gecko; Hound) Chrome/27.0.1453 Safari/537.36 [HTTP_ACCEPT_ENCODING] => gzip,deflate [HTTP_FROM] => googlebot(at)googlebot.com` Passiert ist das über mehrere IPs: 66.249.92.110 66.249.89.3 66.249.89.6 66.249.89.9 209.85.238.94 Ungewöhnlich, denn normalerweise enthält der User Agent immer das Wort "Google": https://support.google.com/webmasters/answer/1061943?hl=de 2015-11-09 11_00_14-Neue Benachrichtigung.png - [Bild vergrößern] Gefällt mir Teilen twittern 4x bearbeitet
▲	pn email

Chris83es Newbie Anmeldedatum: 29.05.2012 Beiträge: 13	10.11.2015, 08:44 zitieren Seit über 10 Jahren tut er das. Er kommt sogar auch vollständig incognito mit IP Adressen abseits der bekannten google Netze. Hintergrund ist, dass schon vor zig Jahren Seiten (nennt sich cloaking) zum einen für den bot und zum anderen für normale Surfer angezeigt wurden, um in den SERPs besser zu ranken. Daher kommt google ab und an vorbei und überprüft das. Das wird selbstverständlich abgestraft von google, sofern entdeckt. Übrigens kommt google auch mit mobile useragents, um zu überprüfen, ob eine Seite responsive ist. mobile-first ist definitv ein ranking Faktor.
▲	pn email

programmierer-forum.de Gast	10.11.2015, 08:44 zitieren Mach mit! Wenn Dir die Beiträge zum Thread "Google kommt auch ohne Googlebot User Agent" gefallen haben oder Du noch Fragen hast oder Ergänzungen machen möchtest, solltest Du Dich gleich bei uns anmelden: Registrierte Mitglieder genießen die folgenden Vorteile: ✔ kostenlose Mitgliedschaft ✔ keine Werbung ✔ direkter Austausch mit Gleichgesinnten ✔ neue Fragen stellen oder Diskussionen starten ✔ schnelle Hilfe bei Problemen ✔ Bilder und Videos hochladen ✔ und vieles mehr...
▲

	Re: √	Letzter Beitrag
HTTP Header - Browser Kopfdaten (IP, Host, User-Agent...) Hier die Daten, die Dein Browser an unsere Seite... [Allgemein]von mgutt	0 310	02.12.2012, 13:52 mgutt
Agent Black und Agent White kämpfen im Civic Si Da könnte man doch glatt einen Anime draus machen... von mgutt	0 176	08.05.2013, 08:52 mgutt
Wie kommt man mit Chrome auf google.com? Hi, vielleicht bin ja blöd, aber wenn ich google.com aufrufe, dann erscheint immer die deutsche Seite. Auch der Link unten rechts "google.com" zeigt mir die deutsche Seite. Ich will aber im internationalen Index... von mgutt	9 262	06.02.2013, 10:55 Rob Himself
Google Chrome Prozesse im Taskmanager: Google Drive, Google Voice? Ich habe Prozesse im Google Chrome Taskmanager, die ich da nicht erwarte. Einmal "Hintergrundseite: Google Drive" und "Erweiterung: Google Voice Search Hotword (Beta)". Das Problem daran ist, dass ich weder Google Drive noch eine... von mgutt	2 414	04.12.2014, 13:43 mgutt
Google News jetzt ohne Snippets (Textvorschau)? Hat Google auf Grund des Gerichtsverfahrens die Texte sicherheitshalber entfernt oder ist das nur bei mir so? In den Nachrichten kann ich nichts dazu... von mgutt	0 157	20.05.2017, 19:18 mgutt
Gilt neues Umsatzsteuerrecht auch für Google Adsense? Die Abrechnung der Umsatzsteuer wird ja bald angepasst: http://t3n.de/news/neues-umsatzsteuer-recht-fuer-557211/ Der Bundesrat hat am Freitag einer Neuregelung der Mehrwertsteuer auf elektronische Dienstleistungen zugestimmt: Online-Händler müssen bei... von mgutt	1 330	22.09.2014, 08:38 mgutt
Gibt es eine Waage, die sich direkt mit Google Fit synchronisiert (ohne dritte App)? Unsere Waage hat den Geist aufgegeben und ich wollte mir jetzt eine "smarte" Waage holen, die sich direkt mit Google Fit synchronisiert. Doch ich finde nur Waagen, die eine eigene App haben und von da dann zu Google Fit synchronisieren. Gibt es... von mgutt	0 722	12.03.2019, 07:38 mgutt
Risikolebensversicherung auch ohne Risiko? (ohne Umsatz-/Gewinn-/überschussanteile) Hi, ich wollte eine Risikolebensversicherung abschließen und habe dabei festgestellt, dass man hier überhaupt keine Preise vergleichen kann, weil jeder Versicherer einen anderen Prozentsatz an "Gewinn-Beteiligung" annimmt, mit der er den... von mgutt	16 707	02.12.2014, 23:52 Rallyeman
Google Chrome kann Downloads nach Netzwerkfehler auch fortsetzen Allerdings muss man das erst aktivieren. Dazu auf die Seite chrome://flags... von mgutt	1 3.951	08.09.2014, 23:10 mgutt
Probleme mit User "Google" Was is mit dem User Google los? Überall erscheinen neue Themen ohne Titel. Was is da... von deacone	5 525	15.11.2006, 16:49 mgutt