# robots.txt zu http://www.buch-meines-lebens.de/ User-agent: * Allow: Disallow: /temp/ # die Dateien sind zu kurzlebig Disallow: /logfiles/ # die ändern sich jeden Tag Disallow: /bilder/ # Bilder nicht downloaden Disallow: /cgi-bin/ # CGI Ausgaben nicht indexieren