|
5. July 2007, 14:02
|
#1 |
|
Erde, Wind & Feuer
Registriert seit: February 2002
Ort: kleine Stadt am Niederrhein
Beiträge: 7.543
|
YacyBot wer/was ist das?
Heute ist anscheinend der Tag der neuen Bots. Noch einer erweißt sich hier die Ehre eines Besuchs.
Diesmal ein Bot der aus Deutschland kommt, das Alice-DSL Netz benutzt und von sich freiwillig erzählt eine Peer-to-Peer Web-Suchmaschine zu sein. Schön für ihn. Auf der angegebenen Seite die im User Agent steht erklärt er sich bereit die robots.txt zu befolgen, schauen wir mal, da ist er nun nämlich drin: User-agent: yacybot Disallow: / YaCy: Bot Info 
|
|
|
 |
|
| Stichworte |
| yacybot, spieder, crawler |
| Themen-Optionen | |
|
|
