Re: Suchmaschinen und robots.txt

hallo zusammen,

zum Thema hab ich noch ne andere Frage,
ich speichere die Besucher der Page mit ip, browser , referenz usw.
Auf einer anderen Page habe ich des ofteren den wert "msnbot-media" beim
Browswer ausgelesen.
Ich gehe wohl recht  in der Annahme, dass diese Einträge von einem
webcrawler stammen.

Gibt es irgendwo eine Übersicht, wie welche Crawler heissen?


Danke für eure Info

Gruss KH




"Karl-Heinz Huber" <khhuber@t-online.de> schrieb im Newsbeitrag
news:fu9csp$nhg$02$1@news.t-online.com...
> Hallo zusammen,
>
> ich danke euch für eure Infos.
> Das mit dem mehrfachen allow hab ich schon vermutet.
> Macht ja auch keine Sinne etwas explizit zu erlauben was eh schon erlaubt
> ist.
>
>> Ja, wenn die Linkfarm erkannt wird dürfte die Site recht zuverlässig
>
> dann hat mein Vorgänger ja genau das Gegenteil  erreicht was er erreichen
> wollte.
>
> Mein Problem ist halt, dass die Inhalte alle im Iframe angezeigt werden
> :-(
> und die Inhaltseiten in einem Subdirectory liegen, welches ich gerne
> sperren möchte.
> Die Suchmaschinen finden  diese Files nämlich  und zeigen sie ohne Frame
> an.
> Auf der Index.php liegen ausserhalb des iframe eigentlich nur die
> Steuerung.
>
> Gruss KH
>
>
>
>
>> Ralf Döblitz   *   Schapenstraße 6   *   38104 Braunschweig   *  
Germany
>> Phone: +49-531-2361223   Fax: +49-531-2361224
>> mailto:doeblitz@doeblitz.net
>> Homepage: http://www.escape.de/users/selene/
>> Mit UTF-8 kann man gleichzeitig
äöüßÄÖÜæolø?¼½¾&cu
rren;¹²³¢?£¥¶§¬÷×±©
®T¡¿
>> verwenden.
>
>
[ Auf dieses Posting antworten ]
Antworten

Irmgard Schwenteck (18.04.2008 16:36)
Karl-Heinz H. (18.04.2008 18:00)