robots.txt

Die robots.txt Datei wird im obersten Verzeichnis eines Webservers (also: http://www.domain.de/robots.txt) abgelegt und teilt den Robots von Suchmaschinen mit, welche Verzeichnisse des Servers sie nicht besuchen dürfen. Wichtig: Eine robots.txt Datei bietet keinen sicheren Schutz. Sensible Dateien können nicht durch eine robots.txt Datei geschützt werden.

siehe auch: Technik – robots.txt, Robot