• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Re: Neuer Googlebot ohne Beachtung von robots.txt?

Klaus Medeke schrieb:

>>Kennt jemand schon   72.14.193.161 ?
>
> Ja, und 74.125.16.34.

danke ;-)

> Wobei beide wesentlich kleinere Bereiche
> erfassen als der altbekannte 66.249.... Ich vermute, dass es um
> Verifikation dabei geht.

Bei mir wurde _gezielt_ versucht, Bilder zu lesen, die in einem
separaten Verzeichnis liegen, welches per robots.txt _auch_ für Google
ein no-no sein sollte. Kein anderer mir bekannter Googlebot hat das
bislang versucht, auch nicht Yahoo, msn usw.

Vielleicht hat Google neue Speicher bekommen und muss den Platz füllen? :-)

Jürgen

Antworten