L’arxiu “robots.txt”, que es troba en el directori arrel d’una web, els diu als motors de cerca a quines parts de la pàgina poden accedir i conseqüentment rastrejar, així es pot restringir als rastrejadors (bots) allà on no sigui necessari accedir, és una manera de poder controlar la informació que es vol que sigui rastrejada i la que no.
