Il file robots.txt ha poche righe e decide una cosa grossa: se i sistemi di intelligenza artificiale possono leggere il tuo sito. Molti siti lo hanno ereditato da un plugin o da un vecchio sviluppatore e nessuno lo ha mai riletto. Prima di ottimizzare un solo testo per le risposte di ChatGPT o di Perplexity, vale la pena aprire quel file e capire cosa dice.
Cos’è davvero il robots.txt
È un file di testo alla radice del sito, raggiungibile all’indirizzo tuosito.it/robots.txt. Contiene richieste rivolte ai crawler, cioè ai programmi che scansionano le pagine: questo puoi leggerlo, quest’altro no. È una convenzione, non una barriera. I crawler dei grandi operatori la rispettano, quelli maleducati la ignorano.
Ogni gruppo di regole comincia con User-agent, il nome del crawler, e continua con righe Allow o Disallow. Una riga Disallow: / sotto un nome specifico dice “tu non entri da nessuna parte”.
Tre tipi di crawler che non vanno confusi
Qui si fa il pasticcio più comune: mettere tutto nello stesso sacco. I grandi operatori distinguono, di solito, tre funzioni.
- Raccolta per l’addestramento dei modelli. Esempi documentati dagli operatori: GPTBot di OpenAI e ClaudeBot di Anthropic.
- Ricerca e citazione nelle risposte. Servono a trovare pagine da mostrare e linkare quando un utente fa una domanda: OAI-SearchBot per OpenAI, PerplexityBot per Perplexity, Claude-SearchBot per Anthropic.
- Agenti avviati da una persona. Quando qualcuno chiede a un assistente di leggere una pagina precisa, entra un agente che agisce per conto suo: ChatGPT-User, Claude-User, Perplexity-User.
I nomi e il loro scopo cambiano nel tempo: la fonte giusta è sempre la pagina per webmaster che ogni operatore pubblica. Controllala prima di scrivere regole.
Google-Extended: un caso a parte
Google-Extended non è un crawler con una sua identità: è un’indicazione nel robots.txt con cui decidi se i tuoi contenuti possono essere usati per i modelli generativi di Google, come Gemini. Secondo la documentazione di Google non modifica la presenza del sito nei risultati di ricerca. Puoi quindi dire no senza uscire da Google Search.
Bloccare o lasciare passare: la scelta editoriale
Qui non c’è una risposta giusta per tutti. C’è un compromesso.
Se blocchi i crawler di ricerca, togli al tuo sito la possibilità di essere letto e citato come fonte nelle risposte che quegli strumenti generano. Per un’attività locale o una PMI che vive di visibilità, di solito è una perdita secca. Se blocchi solo la raccolta per l’addestramento, scegli di non contribuire ai modelli ma resti visibile nella ricerca: è una posizione legittima, per esempio per chi pubblica contenuti editoriali di valore.
Una regola che ci sentiamo di dare: decidi per funzione, non per nome del brand. E annota la scelta, perché fra un anno nessuno ricorderà il motivo.
Come lo controlliamo noi in cinque minuti
Quando apriamo un sito nuovo, il robots.txt è la prima cosa che leggiamo, prima dei testi e prima dello schema. Nella nostra esperienza è il controllo più economico e quello che più spesso smonta un’ipotesi sbagliata. La sequenza è semplice:
- apri il file e cerca i nomi dei crawler AI: se non compaiono, vale la regola generale dell’asterisco;
- cerca righe Disallow: / sotto l’asterisco, che chiuderebbero il sito a tutti;
- controlla che sia dichiarata la mappa del sito con la riga Sitemap;
- chiedi a chi gestisce hosting e firewall se è attivo un blocco dei bot a livello di rete.
Quattro passaggi, e sai già se il problema è qui oppure altrove.
Un esempio leggibile
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: / Sitemap: https://tuosito.it/sitemap.xml
Qui il sito resta aperto ai motori e alla ricerca di OpenAI, ma chiude la raccolta per l’addestramento. Non è una ricetta da copiare: serve a mostrare che le regole si scrivono una per funzione.
Il file dice sì, ma il sito dice no
Succede più spesso di quanto si pensi. Il robots.txt è aperto, e un firewall, una CDN o un plugin di sicurezza blocca comunque quei crawler a livello di rete. Alcuni servizi offrono un interruttore per bloccare i bot AI con un clic. Se il tuo sito non compare mai nelle risposte e il file è a posto, guarda lì.
Per il resto del lavoro di visibilità nelle risposte generative, leggi la nostra guida su GEO per ChatGPT, Perplexity e Copilot. Il file complementare al robots.txt è spiegato in llms.txt: cos’è e come si scrive. E per verificare se tutto questo produce citazioni, c’è il metodo per misurare la visibilità del brand nelle risposte AI.
Domande frequenti
Il robots.txt impedisce davvero a un’AI di leggere il mio sito?
Impedisce ai crawler che lo rispettano di scansionarlo. Non è una protezione tecnica: chi vuole ignorarlo può farlo. Per contenuti che non devono uscire, serve un accesso con password.
Se blocco GPTBot sparisco da ChatGPT?
Non necessariamente. GPTBot riguarda la raccolta per l’addestramento, mentre la ricerca usa un crawler diverso. Le regole degli operatori cambiano, quindi verifica sulla loro documentazione ufficiale prima di decidere.
Dove trovo il robots.txt del mio sito?
Aggiungi /robots.txt alla fine dell’indirizzo del sito. Se usi WordPress, il file può essere generato da un plugin: modificarlo dal pannello è più sicuro che caricarne uno a mano.
Aprendo ora il tuo robots.txt, trovi regole che hai scelto tu o regole che nessuno ricorda di aver scritto?