youdao.com dreht voellig durch
Von: Christoph Schneegans (christoph@schneegans.de) [Profil]
Datum: 19.09.2009 17:33
Message-ID: <7hkbt7F2toqn5U1@mid.individual.net>
Newsgroup: de.comm.infosystems.suchmaschinen
Datum: 19.09.2009 17:33
Message-ID: <7hkbt7F2toqn5U1@mid.individual.net>
Newsgroup: de.comm.infosystems.suchmaschinen
Hallo allerseits! Der Youdao-Crawler geht mir gewaltig auf den Sack. An manchen Tagen macht er die Hälfte meiner Zugriffe aus und probiert dabei alle möglichen Pfade durch, von "/j" über "/mc66" bis "/dshen". <http://www.youdao.com/help/webmaster/spider/> kann ich nicht lesen. Wie wird man diese Arschlöcher also los? Tut es User-agent: Youdao Disallow: / in der robots.txt? Oder vielleicht mit "YoudaoBot"? -- <http://schneegans.de/web/xhtml/> · Klare Antworten zu XHTML[ Auf dieses Posting antworten ]
Antworten
- Lupue Goebel (19.09.2009 20:39)
- Christoph Schneegans (20.09.2009 01:16)
- A. Joensson (20.09.2009 13:51)
- Christoph Schneegans (20.09.2009 14:02)
- Patrick Dardar (21.09.2009 09:28)
- Jens Mander (nein, nicht wirklich) (21.09.2009 17:18)
- A. Joensson (20.09.2009 15:07)
- Lutz Illigen (21.09.2009 05:54)
- Patrick Dardar (21.09.2009 09:31)
- Jens Mander (nein, nicht wirklich) (21.09.2009 16:57)
- Andreas Baer (20.09.2009 11:55)
- Ralf D (20.09.2009 14:04)