• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Re: Suchmaschinen und robots.txt

Hallo

Karl-Heinz Huber schrieb:
>
> zum Thema hab ich noch ne andere Frage,
> ich speichere die Besucher der Page mit ip, browser , referenz usw.
> Auf einer anderen Page habe ich des ofteren den wert "msnbot-media" beim
> Browswer ausgelesen.
> Ich gehe wohl recht  in der Annahme, dass diese Einträge von einem
> webcrawler stammen.

jepp.
>
> Gibt es irgendwo eine Übersicht, wie welche Crawler heissen?
>
http://www.robotstxt.org/db.html

[TOFU entsorgt]

Gruß
Irmgard

Antworten