Sie können für Ihre Web-Site in der Datei robots.txt festlegen, welche Seiten Ihrer Web-Site von der Indizierung ausgenommen werden sollen. Beachten Sie, daß nur eine robots.txt auf Ihren Server berücksichtigt wird und diese muß im Top-Level stehen. Auf einem UNIX-System könnte das beispielsweise das Verzeichnis sein. 

Die Syntax für die Datei robots.txt ist sehr einfach und ihr Inhalt sieht in der Regel wie folgt aus: 

User-agent: *
Disallow: /cgi-bin/
Disallow: /daten/ 

In diesem Fall werden zwei Verzeichnisse von der Indizierung ausgenommen. Für jedes Verzeichnis, daß nicht durch die Suchmaschine indiziert werden soll, müssen Sie eine separate "Disallow"-Zeile einfügen. 

Um beispielsweise allen Robots den Zugriff, bzw. die Indizierung Ihrer vollständigen Web-Site zu untersagen, geben Sie folgende Zeilen in die Datei robots.txt ein: 

User-agent: *
Disallow: / 

Um allen Robots den Zugriff, bzw. die Indizierung Ihrer vollständigen Web-Site zu erlauben, geben Sie folgende Zeilen in die Datei robots.txt ein: 

User-agent: *
Disallow: 

Um einem bestimmten Robot den Zugriff auf Ihr Verzeichnisse zu untersagen geben Sie folgendes ein: 

User-agent: Exite
Disallow: / 

Um nur einem bestimmten Robot den Zugriff auf Ihr Verzeichnisse zu erlauben (und alle anderen auszuschließen) geben Sie folgendes ein: 

User-agent: Fireball
Disallow:


User-agent: *
Disallow: / 

Sie können beispielsweise auch einzelne Seiten von der Indizierung ausnehmen: 

User-agent: *
Disallow: /kunden/passw.html