Robots.txt — la guida completa al file robots.txt

Il file robots.txt è uno dei pilastri della configurazione del sito per i motori di ricerca. Nonostante la sintassi semplice, una configurazione errata può bloccare l'indicizzazione dell'intero sito o rivelare la struttura sensibile del servizio. Questa guida ti accompagnerà attraverso tutto ciò che devi sapere — dalla sintassi di base alle tecniche avanzate e agli errori più comuni.

Vuoi controllare il file robots.txt del tuo dominio?

Apri il tester robots.txt

Cos'è il file robots.txt?

Robots.txt è un file di testo inserito nella directory principale del dominio all'indirizzo example.com/robots.txt. Definisce le regole per i robot del web (crawler) specificando quali parti del sito possono essere visitate e indicizzate. Questo protocollo è noto come REP (Robots Exclusion Protocol) ed è rispettato da tutti i principali motori di ricerca: Google, Bing, Yandex, DuckDuckGo e altri.

Importante: robots.txt è solo un suggerimento, non un obbligo. I bot malevoli possono ignorare le sue regole. Non deve essere usato come unico meccanismo di protezione per risorse sensibili.

Dove posizionare il file robots.txt?

Il file deve trovarsi nella directory principale del dominio — non in un sottodominio o in una sottodirectory. Disponibile all'indirizzo:

https://example.com/robots.txt ✓ Corretto

https://www.example.com/robots.txt ✓ Corretto

https://example.com/folder/robots.txt ✗ Errato

https://sub.example.com/robots.txt ✓ Robots.txt separato per il sottodominio

Sintassi di base

Il file robots.txt è composto da gruppi di regole. Ogni gruppo inizia con una o più direttive User-agent, seguite dalle direttive Allow e Disallow. I gruppi sono separati da righe vuote.

Struttura del file

# Commento — la riga inizia con #

User-agent: [nome-del-bot]

Disallow: [percorso]

Allow: [percorso]

Crawl-delay: [secondi]

User-agent: [altro-bot]

Disallow: [percorso]

Sitemap: [URL-sitemap]

Direttive — lista completa

User-agent Tutti

User-agent: *

Specifica il bot. * indica tutti.

Disallow Tutti

Disallow: /admin/

Blocca l'accesso al percorso e alle sottodirectory.

Allow Google, Bing

Allow: /public/

Consente l'accesso, anche se il percorso superiore è bloccato.

Sitemap Tutti

Sitemap: /sitemap.xml

Indica la posizione della sitemap XML.

Crawl-delay Bing, Yandex

Crawl-delay: 10

Pausa minima tra le richieste del crawler in secondi. Google la ignora.

Host Yandex

Host: example.com

Indica il dominio preferito. Utilizzato da Yandex.

Clean-param Yandex

Clean-param: sid

Informa i bot sui parametri URL irrilevanti per il contenuto.

Caratteri jolly (Wildcard) e pattern di percorsi

Google e Bing supportano due caratteri jolly speciali nei percorsi:

Disallow: /*.pdf$

Corrisponde a qualsiasi stringa di caratteri (zero o più).

Disallow: /search$

Corrisponde alla fine dell'URL — il percorso deve terminare esattamente in quel punto.

Esempi di pattern

# blocca l'intero sito

Disallow: /

# blocca /admin/ e tutte le sottodirectory

Disallow: /admin/

# blocca tutti gli URL che terminano con .pdf

Disallow: /*.pdf$

# blocca tutti gli URL con parametri query

Disallow: /*?

# blocca solo /search, non /search/results

Disallow: /search$

# consente una sottodirectory di una directory bloccata

Allow: /admin/public/

Priorità delle regole — cosa vince?

Quando più regole corrispondono allo stesso URL, Google applica la regola della corrispondenza più lunga — vince la regola con il pattern corrispondente più lungo. In caso di lunghezza uguale, Allow ha la precedenza su Disallow.

# Regole di esempio:

User-agent: *

Disallow: /cartella/

Allow: /cartella/pubblico/

# Per l'URL /folder/privato/ → Disallow (corrispondenza più lunga)

# Per l'URL /folder/pubblico/ → Allow (corrispondenza più lunga)

# Per l'URL /folder/ → Disallow

Esempi di configurazione

1. Configurazione di base — WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /?s=
Disallow: /tag/
Disallow: /author/

Sitemap: https://example.com/sitemap.xml

2. Negozio e-commerce

User-agent: *
Disallow: /carrello/
Disallow: /ordine/
Disallow: /mio-account/
Disallow: /pannello/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /prodotti/
Allow: /categorie/

Sitemap: https://sklep.pl/sitemap.xml
Sitemap: https://sklep.pl/sitemap-produkty.xml

3. Blocco di determinati bot AI

User-agent: GPTBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Disallow: /admin/
Allow: /

Sitemap: https://example.com/sitemap.xml

4. Sito in modalità manutenzione

User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /

Crawler famosi e i loro User-Agent

Googlebot

Google

Googlebot

Google Images

Google

Googlebot-Image

Google AdsBot

Google

AdsBot-Google

Google Extended

Google AI

Google-Extended

Bingbot

Microsoft

bingbot

Yandex

YandexBot

DuckDuckBot

DuckDuckGo

DuckDuckBot

Baidu

Baiduspider

GPTBot

OpenAI

GPTBot

Claude

Anthropic

anthropic-ai

CCBot

Common Crawl

CCBot

SemrushBot

Semrush

SemrushBot

AhrefsBot

Ahrefs

AhrefsBot

Gli errori più comuni nel robots.txt

Blocco dell'intero sito

Disallow: / per tutti i bot blocca l'intero sito — uno degli errori SEO più costosi. Google segnala regolarmente tali pagine in Search Console.

Blocco di pagine con noindex

Se una pagina ha il meta noindex, non bloccarla nel robots.txt. Il crawler deve visitare la pagina per vedere la direttiva noindex. Una pagina bloccata può rimanere nell'indice se è stata linkata.

Rivelare la struttura del servizio

Il file robots.txt è pubblico. Inserendo Disallow: /pannello-segreto/ informi chiunque dell'esistenza di quella directory. Usa il robots.txt per gestire la scansione, non per nascondere risorse.

Mancanza di file separati per i sottodomini

Il file robots.txt su example.com non si applica a blog.example.com. Ogni sottodominio ha bisogno del proprio file robots.txt.

Blocco delle risorse CSS e JS

Google ha bisogno di accedere a CSS e JavaScript per renderizzare la pagina e valutarne la qualità. Bloccare queste risorse può danneggiare il posizionamento.

Confusione tra robots.txt e .htaccess

Robots.txt non blocca l'accesso ai file — informa solo i bot di non visitarli. Un utente può ancora accedere all'URL bloccato. Per una protezione reale, usa .htaccess o la configurazione del server.

Robots.txt e SEO — cosa devi sapere

Robots.txt influisce direttamente sul crawl budget — il budget di scansione assegnato da Google a ogni sito. Un uso efficace del robots.txt permette di indirizzare i crawler verso le sottopagine importanti ed evitare di sprecare il budget su URL irrilevanti.

Blocca gli URL irrilevanti

Parametri di ordinamento, filtraggio, sessione — bloccali affinché i crawler si concentrino sulle sottopagine di valore.

Aggiungi sempre la Sitemap

La direttiva Sitemap nel robots.txt è un modo rapido per informare tutti i motori di ricerca sulla posizione della sitemap.

Proteggi i pannelli di amministrazione

Blocca /admin/, /wp-admin/, /phpmyadmin/ — non per sicurezza, ma per non sprecare il crawl budget.

Verifica in Search Console

In aggiunta al nostro strumento, puoi usare Google Search Console, che dispone anche di uno strumento integrato per il test dei robots.txt - questi mostrano come Google interpreta direttamente le regole.

Tester robots.txt

Controlla il file robots.txt di qualsiasi dominio e testa le regole per URL specifici.

Verifica record DNS

Verifica la configurazione DNS del tuo dominio — record A, MX, TXT e altri.