nntp2http.com
Posting
Suche
Optionen
Hilfe & Kontakt

Welche Form von robots.txt ist richtig?

Von: Theo Fried (teofried@yahoo.com) [Profil]
Datum: 26.10.2007 23:13
Message-ID: <4722585F.3020204@yahoo.com>
Newsgroup: de.comm.infosystems.suchmaschinen
X-No-Archive: yes

Hallo,

Muss ich im robots.txt schreiben
so wie es die meisten tun:

User-agent: Xrobot
Disallow: /

User-agent: Yrobot
Disallow: /

User-agent: Zrobot
Disallow: /

oder darf ich auch schreiben
wie es manche machen:

User-agent: Xrobot
User-agent: Yrobot
User-agent: Zrobot
Disallow: /

Was ist richtig?
Letzteres wuerde eine Menge Bytes einsparen.

Gruss Theo.
[ Auf dieses Posting antworten ]

Antworten