12. May 2006, 14:46 | #1 |
Erde, Wind & Feuer
Registriert seit: February 2002
Ort: Ockershausen
Beiträge: 7.669
|
Teoma/Ask Jeeves Spider Aktivität begrenzen
Auch die Suchmaschine Ask Jeeves übertreibt es in letzter Zeit hier auf dem Board.
Ich habe keine genaue Information, für wen, oder was diese Zuständig ist. Laut Serverlogs sehe ich keinen Besucher, der diese SUMA als Referrer zeigt. Also sehe ich, jedenfalls für deutschesprachige Boards, keinen Grund dieser SUMA hier freien Lauf beim spidern zu lassen. Analog zum Yahoo Thread http://www.skatsboard.de/seo/21427-y...begrenzen.html kann ich nur empfehlen, die gleiche Methode auch an zuwenden. Code:
User-agent: Teoma Crawl-delay: 90 Auch diese SUMA empfiehlt selber auf ihren FAQ-Seiten diese Einstellungsmöglichkeit in der robots.txt Zur Info: Diesen Monat waren es bis heute morgen fast 100.000 Seitenaufrufe, dass macht fast 6.5 pro Minute, wobei jeder davon ca. 10 SQL-Queries verursacht. Sollte jemand den Nutzen dieser SUMA näher kennen, würde ich über eine Info dazu freuen. |