Yahoo Slurp Spider Aktivität begrenzen

Bandwurm · 4. May 2006, 07:16

Um Traffik und die Serverlast zu minimieren kann man die Aktivität von Yahho Slurp begrenzen. Zur Zeit spidert er hier ca. 3000 - 5000 Seiten/Links täglich, dies sind fast 3,5 Links pro Minute. Da er das aber nicht hübsch verteilt über den ganzen Tag macht, somit unangenehme Lastspitzen auftreten kann man ihm sagen, nach wieviel Sekunden Pause er erst wieder den nächsten Link aufrufen darf.
Da von Yahho nur 1,5% der Besucher kommen ist mir die Serverlast wichtiger.

Das ganze kann man mit einem Eintrag in die robots.txt bewerkstelligen.
User-agent: Slurp
Crawl-delay: 60

Bei dieser Einstellung macht er also 60 Sekunden Pause, bevor er den nächsten Link anfordert.
Und das Beste: Er hält sich tatsächlich daran.

Diese Vorgehensweise wird von Yahoo selbst empfohlen:
Yahoo! Hilfe -

4. May 2006, 07:16	#1
Bandwurm Erde, Wind & Feuer Registriert seit: February 2002 Ort: Ockershausen Beiträge: 7.669	Yahoo Slurp Spider Aktivität begrenzen Um Traffik und die Serverlast zu minimieren kann man die Aktivität von Yahho Slurp begrenzen. Zur Zeit spidert er hier ca. 3000 - 5000 Seiten/Links täglich, dies sind fast 3,5 Links pro Minute. Da er das aber nicht hübsch verteilt über den ganzen Tag macht, somit unangenehme Lastspitzen auftreten kann man ihm sagen, nach wieviel Sekunden Pause er erst wieder den nächsten Link aufrufen darf. Da von Yahho nur 1,5% der Besucher kommen ist mir die Serverlast wichtiger. Das ganze kann man mit einem Eintrag in die robots.txt bewerkstelligen. User-agent: Slurp Crawl-delay: 60 Bei dieser Einstellung macht er also 60 Sekunden Pause, bevor er den nächsten Link anfordert. Und das Beste: Er hält sich tatsächlich daran. Diese Vorgehensweise wird von Yahoo selbst empfohlen: Yahoo! Hilfe -