SEO & référencement
Générateur de robots.txt
Un robots.txt propre en trente secondes, sans erreur de syntaxe.
Le robots.txt est un fichier minuscule aux conséquences énormes : une ligne mal écrite peut désindexer tout un site, ou au contraire laisser les robots explorer des sections qui n'ont rien à faire dans Google. Composez le vôtre en quelques clics : autorisez ou bloquez l'ensemble des robots, choisissez de refuser les robots d'entraînement d'IA (GPTBot, ClaudeBot, PerplexityBot, CCBot…), listez les chemins à exclure et renseignez l'adresse de votre sitemap. L'outil génère un fichier à la syntaxe irréprochable, prêt à déposer à la racine de votre site. Le résultat s'actualise à mesure que vous cochez les options. Gratuit, sans inscription, et accompagné des explications pour ne rien casser.
Comment faire ?
- Choisissez la règle de base : autoriser ou bloquer tous les robots.
- Cochez si besoin le blocage des robots d'IA et listez les chemins à exclure.
- Renseignez l'URL de votre sitemap.
- Copiez le fichier généré et déposez-le à la racine du site (/robots.txt).
Questions fréquentes
Que fait exactement le fichier robots.txt ?
Il indique aux robots d'exploration les sections du site qu'ils peuvent parcourir. C'est une directive d'exploration, pas de sécurité : les contenus sensibles doivent être protégés par une authentification, jamais par un simple Disallow.
Faut-il bloquer les robots d'IA ?
C'est un choix éditorial : bloquer GPTBot, ClaudeBot ou CCBot empêche l'utilisation de vos contenus pour l'entraînement de modèles, mais peut aussi réduire votre visibilité dans les réponses des assistants IA — un canal de découverte en pleine croissance. Les robots des moteurs de recherche classiques ne sont pas concernés.
Bloquer une page dans robots.txt la retire-t-elle de Google ?
Pas nécessairement : une page bloquée peut rester indexée si d'autres sites la lient. Pour exclure une page des résultats, utilisez plutôt une balise noindex — et ne la bloquez pas dans robots.txt, sinon Google ne verra jamais la balise.
Où placer le fichier généré ?
À la racine du domaine, accessible à l'adresse votresite.ch/robots.txt. Chaque sous-domaine a son propre robots.txt. Après mise en ligne, vérifiez-le dans la Search Console.