O nazwie robots.txt i umieścić
O nazwie robots.txt i umieścić go na najwyższym poziomie drzewa katalogów, tak aby jego URL wyglądał następująco: http://nazwa.serwera/robots.txt.
W pliku tym powinna znaleźć się jedna lub kilka linii, które zabraniają lub zezwalają określonym programom (user-agents) na dostęp do stron na Twoim serwerze oraz jedna lub kilka linii opisujących katalogi, do których dostęp ma zostać odcięty (disallowed). Najprostsza postać pliku robots.txt („żadnych robotów na moim serwerze!”) wygląda następująco:
User-agent: