• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Re: Neuer Googlebot ohne Beachtung von robots.txt?

* Uwe Schröder <usch2000@nurfuerspam.de> (20:33) schrieb:

> Juergen Kuehne wrote:
>
>> habe in meinen (Webseiten-) Logs eine IP gefunden, die zu Google
>> gehört, aber weder die robots.txt liest noch deren Inhalt beachtet
>> :-(
>
> Woraus schließt du, daß es ein Bot war? Und nicht einfach ein Google-
> Mitarbeiter, der vom Firmenrechner aus auf deine Seite gesurft ist?

Mit einem Browser ohne User-Agent-Header?

mfg,                      simon .... l

Antworten