• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Re: Neuer Googlebot ohne Beachtung von robots.txt?

Uwe Schröder schrieb:

> Woraus schließt du, daß es ein Bot war? Und nicht einfach ein Google-
> Mitarbeiter, der vom Firmenrechner aus auf deine Seite gesurft ist?

wie ich schrieb, wurde versucht, Daten zu lesen, die (auch) für
Googlebot in der robots.txt ein no-no steht, Bilder in separatem Ordner,
mder 66.249.* und andere mir bekannte Googlebots haben sich bislang
immer dran gehalten.

Jürgen

Antworten