User-agent: linkCheck # Datensatz betrifft linkCheck Disallow: /cgi3/ # alle Seiten in /cgi3/ sind gesperrt # Leerzeile beendet Datensatz User-agent: BadSpider # Datensatz betrifft BadSpider Disallow: / # BadSpider hat Site-Verbot # Leerzeile beendet Datensatz # letzter Datensatz mit Platzhalter betrifft User-agent: * # alle nicht namentlich genannten Spider Disallow: /cgi3/ # alle Seiten in /cgi3/ sind gesperrt # S. Klewitz, 28.01.2007