Auch die Suchmaschine Ask Jeeves übertreibt es in letzter Zeit hier auf dem Board.
Ich habe keine genaue Information, für wen, oder was diese Zuständig ist. Laut Serverlogs sehe ich keinen Besucher, der diese SUMA als Referrer zeigt. Also sehe ich, jedenfalls für deutschesprachige Boards, keinen Grund dieser SUMA hier freien Lauf beim spidern zu lassen.
Analog zum Yahoo Thread
http://www.skatsboard.de/seo/21427-y...begrenzen.html kann ich nur empfehlen, die gleiche Methode auch an zuwenden.
Code:
User-agent: Teoma
Crawl-delay: 90
Dies begrenzt die Häufigkeit der Seitenaufrufe auf je 90 sec. Dadurch ist hier auf dem Board nun die Serverlast endlich wieder unter 0,1 gesunken.
Auch diese SUMA empfiehlt selber auf ihren FAQ-Seiten diese Einstellungsmöglichkeit in der robots.txt
Zur Info: Diesen Monat waren es bis heute morgen fast 100.000 Seitenaufrufe, dass macht fast 6.5 pro Minute, wobei jeder davon ca. 10 SQL-Queries verursacht.
Sollte jemand den Nutzen dieser SUMA näher kennen, würde ich über eine Info dazu freuen.