[WEBDESIGN] robots.txt

[Zerogiven]

Die robots.txt dient nicht dazu um ein Verzeichniss zu schützen, zumindest nicht zum direktem Schutz. Man kann jedeglich Ordner mit gewissem Inhalt vor Suchmaschinen schützen.

Schaut ein Robot einer Suchmaschine bei ihnen vorbei, so sucht dieser als 1. nach der robots.txt
Die Datei muss im Stammverzeichniss des Servers liegen. Dóch es spll nicht irgendwas in der robots.tx stehen. Wie, bzw was drinnen stehen soll erkläre ich euch jetzt:

Begriffserklärung

User-Agent: bezeichnet den Robter/Spider. Ein "*" (Stern) gilt für alle Spiders

Disallow: Bestimmt Verzeichnisse die für Robots gesperrt sind. Für jedes Verzeichniss muss eine Zeile geschrieben werden.


Alle Roboter ausschliessen
User-Agemt: *
Disallow: /

Alle Roboter einladen
Die leere Datei würde genauso viel bringen
User-agent: *
Disallow

Alle Roboter von gewissen Verzeichnissen fernhalten
User-Agent: *
Disallow: /cgi-bin/
Disallow: /admin/

Einen bestimmten Robot ausschliessen
User-Agent: WebCrawler
Disallow: /

Einen bestimmten Robot einladen
User-Agent: Sidewinder
Disallow:

Mehrere Datein ausschliessen
User-Agent: *
Disallow: index.html
Disallow: /admin/index.html
Disallow: verboten.html


So das wars. Übrigens Kommentare könnt ihr mit # einfügen, also:
# Kommentar schreiben

Viel erfolg mit eurer Homepage

mfg
Zerogiven

Copyright by Zerogiven
Mehr Tutorials: http://www.boldluck.at