• Als Spam markieren
• Beitrag melden

• 
  Diese Gruppe Alles

• Archiv
• RSS-Feeds

• Kontakt
• Hilfe
• Impressum
• Datenschutz

Slurp und robots.txt

Seit ein paar Tagen missachtet Slurp das disallow im robots.txt. Es
scheint nur der Robot beginnend mit dem IP-Block 74.6. betroffen zu
sein und die Missachtung ist auch nicht generell, kommt aber immer
wieder vor. Habt Ihr das auch festgestellt?

Viele Grüße,

Klaus