Suchhilfe  
 
 
  Search the ­ Web:
 
Ihre Seite anmelden Live - Suche  
 
Sie sind hier: Startseite » Robot-Info

Robot / Crawler

Robot / Crawler

Die Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern.
Nähere Informationen können Sie hier nachlesen

Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren:

User-agent: Spydersearch-Bot
Disallow: /
Wenn Sie unserem Bot einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag

User-agent: Spydersearch-Bot
Disallow: /verzeichnis_1/
Disallow: /verzeichnis_2/



Home  Verzeichnis  Preisvergleich  Seite anmelden  AGB  FAQ  Kontakt  Impressum
Geosuche  Blogsuche  Lexikon  Bilder  Video  Shopping  eBay  Amazon  World News  Suchhilfe
© 2007 Spyder Search.de - Find whatever you need here  -
Partnerseiten: www.interguide.de, www.biganzeigen.de, www.suchfeuer.de, www.preislift.de, www.1a-auction.de, www.aMarkt.de, www.deine1.eu