Einzelnen Beitrag anzeigen
12. May 2006, 14:46   #1
Bandwurm
Erde, Wind & Feuer
 
Benutzerbild von Bandwurm
 
Registriert seit: February 2002
Ort: Ockershausen
Beiträge: 7.669
Teoma/Ask Jeeves Spider Aktivität begrenzen

Auch die Suchmaschine Ask Jeeves übertreibt es in letzter Zeit hier auf dem Board.
Ich habe keine genaue Information, für wen, oder was diese Zuständig ist. Laut Serverlogs sehe ich keinen Besucher, der diese SUMA als Referrer zeigt. Also sehe ich, jedenfalls für deutschesprachige Boards, keinen Grund dieser SUMA hier freien Lauf beim spidern zu lassen.
Analog zum Yahoo Thread http://www.skatsboard.de/seo/21427-y...begrenzen.html kann ich nur empfehlen, die gleiche Methode auch an zuwenden.

Code:
User-agent: Teoma
Crawl-delay: 90
Dies begrenzt die Häufigkeit der Seitenaufrufe auf je 90 sec. Dadurch ist hier auf dem Board nun die Serverlast endlich wieder unter 0,1 gesunken.
Auch diese SUMA empfiehlt selber auf ihren FAQ-Seiten diese Einstellungsmöglichkeit in der robots.txt

Zur Info: Diesen Monat waren es bis heute morgen fast 100.000 Seitenaufrufe, dass macht fast 6.5 pro Minute, wobei jeder davon ca. 10 SQL-Queries verursacht.


Sollte jemand den Nutzen dieser SUMA näher kennen, würde ich über eine Info dazu freuen.