Come controllare i Web Robots

Un Web Robot é un software che esplora automaticamente i contenuti del web al fine di estrarne informazioni. I motori di ricerca Web come Google, usano robot (chiamati anche search engine crawlers) per indicizzare i contenuti, mentre altri soggetti potrebbero usarli per copiare dei contenuti (per esempio cataloghi dati, indirizzi, etc…) e testare vulnerabilità.

E’ possibile controllare alcune attività dei robot, predisponendo delle istruzioni nel file di testo robots.txt registrato nella directory radice di un sito.

Le istruzioni sono scritte secondo la specifica The Robots Exclusion Protocol ed hanno lo scopo di consentire o negare l’accesso ai contenuti del sito.

Il file robots.txt di questo sito include le seguenti istruzioni:

User-agent: *
Disallow: /it/
Disallow: /en/it/
Disallow: /en/en/
Allow: /
Sitemap: http://www.ipertesti.com/sitemap.xml
Sitemap: http://www.ipertesti.com/en/sitemap.xml

In questo modo, ho specificato che tutti i Web Robots “dovrebbero” evitare di indicizzare le sotto-cartelle “/it/, /en/it/ ed /en/en/” del mio sito perché contengono alcune bozze di articoli.

E’ possibile verificare la correttezza del file robots.txt con il Robots Testing Tool di Google.

L’utilità del file robots.txt é modesta, perché i robots tendono semplicemente ad ignorarlo. Oppure, Google ribadisce che il proprio crawler eviterà di accedere direttamente alle pagine escluse secondo le istruzioni di robots.txt, ma potrà comunque mostrare, nei risultati delle ricerche, i contenuti esclusi se questi sono linkati da un’altra pagina che risulta invece indicizzabile.

A mio parere, occorre predisporre il file robots.txt solo perché viene “richiesto” e la sua presenza evita di registrare una riga d’errore con codice 404, nel file di log del server.

Un metodo più efficace per prevenire l’indicizzazione dei contenuti, consiste nell’usare il tag meta inserito nella sezione head del codice HTML.

Per esempio, questa pagina include il seguente codice:

<meta name="robots" content="index, follow">

Invece, per le pagine web che sono ancora nello stato di bozza, uso il meta tag:

<meta name="robots" content="noindex, follow">

Il terzo metodo per controllare i Web Robots, consiste nel specificare l’attributo X-Robots-Tag nell’header HTTP.

N.B. devo aggiornare questo articolo ed includere note sull’uso di “Sitemap:” in robots.txt e la configurazione di Apache per “X-Robots-Tag”.

Riferimenti

1. The Web Robots pages
2. Google - Learn about robots.txt files
3. Google - Robots meta tag and X-Robots-Tag HTTP header specifications
4. Robots exclusion standard
5. WikiPedia HTTP 404
6. Robots.txt
7. WikiPedia Sitemaps
8. Sitemaps.org
9. Google FAQ on robots.txt

Libri suggeriti

Guide gratuite:

1. Guida rapida alla scrittura di un file Robots.txt
2. The robots.txt file
3. Robots.txt Tutorial
4. Meta tags that Google understands