• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Re: Neuer Googlebot ohne Beachtung von robots.txt?

On Thu, 31 Jan 2008 13:40:16 +0100, Uwe Schröder wrote:

>> Ich vermute, dass es um Verifikation dabei geht.
>
>Das liegt nahe. Aber das heißt immer noch nicht, daß es ein Bot sein
>muß. Da können auch ein paar studentische Hilfskräfte sitzen und
>stichprobenartig URLs ansurfen. Dafür wäre dann die robots.txt per
>Definition irrelevant. Oder ist von den IPs ein typisches
>Crawler-Pattern festzustellen?

Nicht eindeutig. Unterschiedlich viele Aufrufe pro Tag in
unterschiedlich großem Abstand zueinander. Manchmal 3 oder 4 Aufrufe
in 1 Sekunde mehrere Sekunden hintereinander, dann wieder längere
Pausen dazwischen.

>In meinen Weblogs findet sich davon übrigens nichts.

Bei mir nur bei der Domain, die mit session-IDs arbeitet.

Viele Grüße,

Klaus