Skats

Datenschutzerklärung Letzten 7 Tage (Beiträge) Stichworte Fussball Tippspiel Sakniff Impressum
Zurück   Skats > Technik & Digitales > Software > SEO
Registrieren Hilfe Benutzerliste Kalender Alle Foren als gelesen markieren


 
 
12. May 2006, 14:46   #1
Bandwurm
Erde, Wind & Feuer
 
Benutzerbild von Bandwurm
 
Registriert seit: February 2002
Ort: Ockershausen
Beiträge: 7.668
Teoma/Ask Jeeves Spider Aktivität begrenzen

Auch die Suchmaschine Ask Jeeves übertreibt es in letzter Zeit hier auf dem Board.
Ich habe keine genaue Information, für wen, oder was diese Zuständig ist. Laut Serverlogs sehe ich keinen Besucher, der diese SUMA als Referrer zeigt. Also sehe ich, jedenfalls für deutschesprachige Boards, keinen Grund dieser SUMA hier freien Lauf beim spidern zu lassen.
Analog zum Yahoo Thread http://www.skatsboard.de/seo/21427-y...begrenzen.html kann ich nur empfehlen, die gleiche Methode auch an zuwenden.

Code:
User-agent: Teoma
Crawl-delay: 90
Dies begrenzt die Häufigkeit der Seitenaufrufe auf je 90 sec. Dadurch ist hier auf dem Board nun die Serverlast endlich wieder unter 0,1 gesunken.
Auch diese SUMA empfiehlt selber auf ihren FAQ-Seiten diese Einstellungsmöglichkeit in der robots.txt

Zur Info: Diesen Monat waren es bis heute morgen fast 100.000 Seitenaufrufe, dass macht fast 6.5 pro Minute, wobei jeder davon ca. 10 SQL-Queries verursacht.


Sollte jemand den Nutzen dieser SUMA näher kennen, würde ich über eine Info dazu freuen.
 
Antwort

  Skats > Technik & Digitales > Software > SEO

Stichworte
seo, spider

Themen-Optionen



Alle Zeitangaben in WEZ +1. Es ist jetzt 00:01 Uhr.


Powered by vBulletin, Copyright ©2000 - 2019, Jelsoft Enterprises Ltd.
Online seit 23.1.2001 um 14:23 Uhr

Die hier aufgeführten Warenzeichen und Markennamen sind Eigentum des jeweiligen Herstellers.