SEO
Generatore di robots.txt
Un robots.txt pulito in trenta secondi, senza errori di sintassi.
Il robots.txt è un file minuscolo dalle conseguenze enormi: una riga scritta male può deindicizzare un intero sito — o lasciare che i crawler esplorino sezioni che non hanno niente da fare su Google. Componi il tuo in pochi clic: consenti o blocca tutti i robot, scegli se rifiutare i bot di addestramento IA (GPTBot, ClaudeBot, PerplexityBot, CCBot…), elenca i percorsi da escludere e aggiungi l’indirizzo della tua sitemap. Lo strumento genera un file dalla sintassi impeccabile, pronto da caricare nella radice del sito, e il risultato si aggiorna in diretta mentre spunti le opzioni. Gratis, senza account, e spiegato abbastanza chiaramente da non rompere nulla.
Come funziona?
- Scegli la regola di base: consentire o bloccare tutti i robot.
- Se serve, spunta il blocco dei bot IA ed elenca i percorsi da escludere.
- Aggiungi l’URL della tua sitemap.
- Copia il file generato e caricalo nella radice del sito (/robots.txt).
Domande frequenti
Cosa fa esattamente il robots.txt?
Dice ai crawler quali sezioni del sito possono esplorare. È una direttiva di scansione, non una misura di sicurezza: i contenuti sensibili vanno protetti con un’autenticazione, mai con una semplice riga Disallow.
Conviene bloccare i bot IA?
È una scelta editoriale: bloccare GPTBot, ClaudeBot o CCBot impedisce l’uso dei tuoi contenuti per l’addestramento dei modelli, ma può anche ridurre la tua visibilità nelle risposte degli assistenti IA — un canale di scoperta in forte crescita. I crawler dei motori di ricerca classici non ne risentono in alcun modo.
Bloccare una pagina nel robots.txt la rimuove da Google?
Non necessariamente: una pagina bloccata può restare indicizzata se altri siti la linkano. Per tenerla fuori dai risultati usa piuttosto un tag noindex — e non bloccarla nel robots.txt, altrimenti Google non vedrà mai il tag.
Dove metto il file generato?
Nella radice del dominio, raggiungibile all’indirizzo tuosito.it/robots.txt. Ogni sottodominio ha il proprio robots.txt. Una volta online, verificalo in Search Console.