# robots.txt für Internet-Präsentation intago # Suchmaschinen und Robots-Auflösung siehe in Datenbank # max. Grösse : 1 kB # einige Robots müssen komplett draussen bleiben User-agent: CherryPickerSE # e-Mail - Sammler User-agent: EmailCollector/1.0 # e-Mail - Sammler User-agent: eMailReaper User-agent: EmailSiphon # e-Mail - Sammler User-agent: Extractor User-agent: MSIECrawler User-agent: Sniper User-agent: sonic User-agent: WebWeasel disallow: / # für alle Robots ... User-agent: * # ... einzelne Verzeichnisse ausschließen Disallow: /logfiles/ Disallow: /intago_preview/ Disallow: /intago/d_projekte/netzwerk/ Disallow: /intago/d_projekte/berichte/test/ Disallow: /intago/z_tech/ Disallow: /intago/zzz_TEMP/ User-agent: * # ... einzelne Dateien für alle Robots ausschließen Disallow: /error400.html Disallow: /error401.html Disallow: /error403.html Disallow: /error404.html Disallow: /error500.html