Skats

Datenschutzerklärung Letzten 7 Tage (Beiträge) Stichworte Fussball Tippspiel Sakniff Impressum
Zurück   Skats > Technik & Digitales > Software > SEO
Registrieren Hilfe Benutzerliste Kalender Alle Foren als gelesen markieren


 
 
5. July 2007, 14:02   #1
Bandwurm
Erde, Wind & Feuer
 
Benutzerbild von Bandwurm
 
Registriert seit: February 2002
Ort: Ockershausen
Beiträge: 7.669
YacyBot wer/was ist das?

Heute ist anscheinend der Tag der neuen Bots. Noch einer erweißt sich hier die Ehre eines Besuchs.
Diesmal ein Bot der aus Deutschland kommt, das Alice-DSL Netz benutzt und von sich freiwillig erzählt eine Peer-to-Peer Web-Suchmaschine zu sein. Schön für ihn.

Auf der angegebenen Seite die im User Agent steht erklärt er sich bereit die robots.txt zu befolgen, schauen wir mal, da ist er nun nämlich drin:
User-agent: yacybot
Disallow: /

YaCy: Bot Info


 
Antwort

  Skats > Technik & Digitales > Software > SEO

Stichworte
yacybot, spieder, crawler

Themen-Optionen



Alle Zeitangaben in WEZ +1. Es ist jetzt 14:21 Uhr.


Powered by vBulletin, Copyright ©2000 - 2024, Jelsoft Enterprises Ltd.
Online seit 23.1.2001 um 14:23 Uhr

Die hier aufgeführten Warenzeichen und Markennamen sind Eigentum des jeweiligen Herstellers.