Robots sind automatisierte Computerprogramme die von Suchmaschinen durch das Internet geschickt werden um URL`s aufzufinden.
Viele dieser Robots durchkämmen täglich das Web und greifen dabei auf eine Unmenge von URLs zu. Manche Suchmaschinen können nahezu den gesamten Inhalt einer Site in den Index aufnehmen.

Was passiert aber, wenn bestimmte Teile Ihrer Website vertrauliche Informationen enthalten? Oder wie geht man mit Seiten um, die sich noch in der Entwicklung befinden und für die öffentliche Bewertung noch nicht zur Verfügung stehen sollen? Wie können sie Teile Ihres Territoriums oder die gesamte Site vor der Robots/Suchmaschinen oder anderen Computerprogrammen abschirmen?

Die Lösung liegt im Gebrauch der strukturierten Textdatei, die man als robots.txt bezeichnet, einem Teil des Robots Exclusion Standard. Die robots.txt-Datei gibt Computerpgrammen die Anweisung, daß Ihre Website oder bestimmte Teile daraus nicht zugänglich sind.

Wenn diese Datei im Root Verzeichnis ihrer Homepage gefunden wird, durchsucht der Suchmaschinen-Robot nur die angegebenen Verzeichnisse. Diese Datei ist eine einfache Textdatei, und hat folgenden Aufbau:

# robots.txt for http://www.Ihre_Homepage.de/
# file created: 16.08.98
User-agent: *
# Disallow: /cgi-bin/ # exclude robots from specified tree
# Disallow: /scripts/

Zur Erklärung:

Unter User-agent wird der Name der betreffenden Suchmaschinen/Robot angegeben, oder ein * für alle Suchmaschinen. Per Disallow können Sie festlegen, welche Verzeichnisse nicht indexiert werden sollen.

Das Vorhandensein der Datei robots.txt ist z. B. wichtig für die Suchdienste INFOSEEK und LYCOS . Sie sollten deshalb die obige Datei in Ihre Homepage einbauen. Wenn Sie bestimmte Verzeichisse schützen wollen, lassen Sie das Zeichen # weg und geben die entsprechenden Verzeichnisse an.