L’arxiu “robots.txt”, que es troba en el directori arrel d’una web, els diu als motors de cerca a quines parts de la pàgina poden accedir i conseqüentment rastrejar, així es pot restringir als rastrejadors (bots) allà on no sigui necessari accedir, és una manera de poder controlar la informació que es vol que sigui rastrejada i la que no.
És molt possible que hi hagi algunes pàgines del teu lloc que no vulguis que siguin rastrejades, ja que no seran útils per als usuaris quan les trobin en els resultats de cerca. Si vols evitar que els motors de cerca rastregin les teves pàgines, les Eines per a administradors web de Google tenen un senzill generador de robots.txt per ajudar-te a crear el fitxer. Cal tenir en compte que si la web utilitza subdominis i vols que algunes pàgines no siguin rastrejades per a aquest subdomini, hauràs de crear un arxiu robots.txt específic d’aquest subdomini.
Hi ha unes quantes maneres més d’impedir que el teu contingut aparegui en els resultats de cerca, com ara afegir la metaetiqueta “noindex”, usar .htaccess per protegir directoris amb contrasenya, o usar les Eines per a administradors web de Google per treure contingut que ja ha estat rastrejat.
De totes maneres els motors de cerca encara podrien fer referència a aquestes URL que estan bloquejades (mostrant només la URL, sense títol ni descripció) si hi ha enllaços a aquestes URL en algun lloc d’Internet (registre de remitents – referrer logs-). A més, els motors de recerca que no segueixen les normes de Robots Exclusion Standard podrien desobeir les instruccions del teu fitxer robots.txt. Finalment, un usuari curiós podria estudiar els directoris i subdominis al teu robots.txt i endevinar la URL del contingut que no vols que sigui vist, en aquests casos hi ha alternatives més segures com xifrar el contingut o protegir-lo amb una contrasenya al .htaccess.
Per finalitzar aquest recomanem evitar permetre rastrejar pàgines de resultats de busca molt semblants, ja que als usuaris no els agrada sortir d’un pàgina de resultats de busca, per arribar a una altra que no els hi aporti cap altre valor.
