Skats

Datenschutzerklärung Letzten 7 Tage (Beiträge) Stichworte Fussball Tippspiel Sakniff Impressum
Zurück   Skats > Technik & Digitales > Software > SEO
Registrieren Hilfe Benutzerliste Kalender Alle Foren als gelesen markieren


 
 
4. May 2006, 07:16   #1
Bandwurm
Erde, Wind & Feuer
 
Benutzerbild von Bandwurm
 
Registriert seit: February 2002
Ort: Ockershausen
Beiträge: 7.669
Yahoo Slurp Spider Aktivität begrenzen

Um Traffik und die Serverlast zu minimieren kann man die Aktivität von Yahho Slurp begrenzen. Zur Zeit spidert er hier ca. 3000 - 5000 Seiten/Links täglich, dies sind fast 3,5 Links pro Minute. Da er das aber nicht hübsch verteilt über den ganzen Tag macht, somit unangenehme Lastspitzen auftreten kann man ihm sagen, nach wieviel Sekunden Pause er erst wieder den nächsten Link aufrufen darf.
Da von Yahho nur 1,5% der Besucher kommen ist mir die Serverlast wichtiger.

Das ganze kann man mit einem Eintrag in die robots.txt bewerkstelligen.
User-agent: Slurp
Crawl-delay: 60


Bei dieser Einstellung macht er also 60 Sekunden Pause, bevor er den nächsten Link anfordert.
Und das Beste: Er hält sich tatsächlich daran.

Diese Vorgehensweise wird von Yahoo selbst empfohlen:
Yahoo! Hilfe -
 
Antwort

  Skats > Technik & Digitales > Software > SEO

Stichworte
spider, seo, yahoo

Themen-Optionen



Alle Zeitangaben in WEZ +1. Es ist jetzt 10:14 Uhr.


Powered by vBulletin, Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Online seit 23.1.2001 um 14:23 Uhr

Die hier aufgeführten Warenzeichen und Markennamen sind Eigentum des jeweiligen Herstellers.