User-agent: * Disallow: /dat_ Disallow: /de__ Disallow: /layout_ Disallow: /pgm/ Disallow: /daten/ Disallow: /guestbook/ Disallow: /log/ Disallow: /images/ # Beispiele für die Verwendung de robots.txt (# leitet Kommentar ein) # # User-agent: linkCheck # Datensatz betrifft linkCheck # Disallow: /de/prv/ # alle Seiten in /de/prv/ sind gesperrt # Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt # # Leerzeile beginnt neuen Datensatz # User-agent: BadSpider # Datensatz betrifft BadSpider # Disallow: / # BadSpider hat Site-Verbot # # Leerzeile beginnt neuen Datensatz # User-agent: * # Datensatz betrifft alle anderen Spider # Disallow: /de/prv/ # alle Seiten in /de/prv/ sind gesperrt # Disallow: /cgi-bin/ # /cgi-bin/ ist ebenfalls gesperrt # Disallow: /verboten/ # hier darf [ausser linkCheck, sh. oben] niemand rein