Soubor robots.txt se používá k instruování robotů. Standardní verze slouží pouze pro vkládání instrukcí čemu se mají roboti na webu vyhnout. Můžete přikázat jen konkrétnímu robotovi co má a co nemá procházet, anebo zakázat všem vstup do určitého adresáře. A tady můžeme narazit na bezpečnostní problém.