• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Re: Neuer Googlebot ohne Beachtung von robots.txt?

Klaus Medeke wrote:

> Ich vermute, dass es um Verifikation dabei geht.

Das liegt nahe. Aber das heißt immer noch nicht, daß es ein Bot sein
muß. Da können auch ein paar studentische Hilfskräfte sitzen und
stichprobenartig URLs ansurfen. Dafür wäre dann die robots.txt per
Definition irrelevant. Oder ist von den IPs ein typisches
Crawler-Pattern festzustellen?

In meinen Weblogs findet sich davon übrigens nichts.

usch

Antworten