Na internetu je velké množství služeb, které využívají robota (zkráceně bota), pro procházení stránek. Takovýto robot může být zcela neškodný a sbírat jen statistické informace (například zjišťuje jaký používáte redakční systém, zdali jste chráněni proti nějakému útoku anebo jen testuje použitý jazyk), někdy dokonce užitečný (vyhledávače používají roboty, aby zjistili co máte vlastně na stránkách), ale také potencionálně nebezpečný (hledá bezpečnostní díry, odesílá spam, sbírá emailové adresy). Každý den vaše webové stránky navštíví i desítky různých robotů. Ve většině případů jejich návštěva není nijak problémová a nemá cenu se jim bránit, ovšem za určitých okolností mohou zbytečně vytěžovat server, na kterém máte svůj web umístěný.