# Alle Roboter ausschließen #User-agent: * #Disallow: / #Alle Roboter einladen User-agent: * Disallow: #Alle Roboter von bestimmten Verzeichnissen fernhalten User-agent: * Disallow: /webalizer/ Disallow: /cgi-bin/ Disallow: /intern/ Disallow: /weltweit/ Disallow: /frames/ #Einen bestimmten Robot ausschließen #User-agent: Sidewinder #Disallow: / #Einen bestimmten Robot einladen #User-agent: WebCrawler #Disallow: #Mehrere Dateien ausschließen # Meine Roboter Info #User-agent: * #Disallow: /diesunddas.html #Disallow: /unddiesehier.html #Disallow: /verbotenr.html #Kommentare einfügen: # Mein Kommentar