|
| 4. May 2006, 08:16 |
 #1
|
|
Erde, Wind & Feuer
Registriert seit: February 2002
Ort: Ockershausen
Beiträge: 7.697
|
Yahoo Slurp Spider Aktivität begrenzen
Um Traffik und die Serverlast zu minimieren kann man die Aktivität von Yahho Slurp begrenzen. Zur Zeit spidert er hier ca. 3000 - 5000 Seiten/Links täglich, dies sind fast 3,5 Links pro Minute. Da er das aber nicht hübsch verteilt über den ganzen Tag macht, somit unangenehme Lastspitzen auftreten kann man ihm sagen, nach wieviel Sekunden Pause er erst wieder den nächsten Link aufrufen darf.
Da von Yahho nur 1,5% der Besucher kommen ist mir die Serverlast wichtiger. Das ganze kann man mit einem Eintrag in die robots.txt bewerkstelligen. User-agent: Slurp Crawl-delay: 60 Bei dieser Einstellung macht er also 60 Sekunden Pause, bevor er den nächsten Link anfordert. Und das Beste: Er hält sich tatsächlich daran. Diese Vorgehensweise wird von Yahoo selbst empfohlen: Yahoo! Hilfe - |
 |
|
| Stichworte |
| spider, seo, yahoo |
| Themen-Optionen | |
|
|
LinkBacks (?)
LinkBack zu diesem Thema: http://www.skats.de/seo/21427-yahoo-slurp-spider-aktivitaet-begrenzen/
|
||||
| Erstellt von | Für | Typ | Datum | |
| AreaCigar | News, Regeln und wichtige Hinweise | Ausgeschlossene IP-Bereiche | dieses Thema | Refback | 1. January 2009 16:28 | |
| Diese Unmengen an Crawlern auf der Site - vBulletin SEO Forums | dieses Thema | Pingback | 20. June 2007 13:32 | |
| Erfahrenungen mit vBSEO Geschwindigkeit - Page 2 - vBulletin SEO Forums | dieses Thema | Refback | 1. December 2006 14:08 | |
