/ Jeżeli nie chcesz, aby
/
Jeżeli nie chcesz, aby jakikolwiek robot przeglądał pliki znajdujące się w katalogu /data i we wszystkich jego podkatalogach (mogą się tam znajdować pliki, przeznaczone tylko i wyłącznie do użytku wewnętrznego), plik robots.txt powinien wyglądać tak:
User-agent: *Disallow: /data/
Dodając kolejne linie, rozpoczynające się od wyrażenia User-agent oraz Disallow, możesz dopuszczać przeglądanie stron serwera