Mit der Datei robots.txt kannst du das Verhalten von Suchmaschinen-Robots beeinflussen. In dieser Datei legst du Regeln und Verbote fest, ob und in welchem Umfang deine Website von Suchmaschinen gescannt und indexiert werden darf. Beachte hierbei, dass es sich lediglich um Empfehlungen handelt. Diese werden von Google, Microsoft und Yahoo auch bereits seit vielen Jahren berücksichtigt.