SEO & webmaster
Testeur de robots.txt
Sachez immédiatement si une page est bloquée ou autorisée pour Google.
Contenu du fichier robots.txt
Le fichier robots.txt dicte aux moteurs de recherche ce qu’ils peuvent explorer sur votre site. Une seule ligne mal écrite peut bloquer tout un dossier — voire le site entier — sans que rien ne soit visible pour vos visiteurs. Cet outil charge le robots.txt de n’importe quel site, en affiche le contenu, puis simule le comportement d’un robot : indiquez un chemin et un user-agent (Googlebot par exemple), et le verdict tombe — autorisé ou bloqué. La simulation applique les vraies règles de priorité, y compris la correspondance la plus longue, le joker * et l’ancre $. Gratuit, sans inscription, idéal avant et après chaque mise en ligne.
Comment faire ?
- Saisissez l’adresse du site : son fichier robots.txt est chargé et affiché.
- Indiquez le chemin à tester (exemple : /blog/article ou /admin/).
- Choisissez le robot à simuler (Googlebot, Bingbot ou autre).
- Cliquez sur « Tester » et lisez le verdict : autorisé ou bloqué, avec la règle appliquée.
Questions fréquentes
Une page bloquée par robots.txt disparaît-elle de Google ?
Pas nécessairement. Le blocage empêche l’exploration, pas l’indexation : si d’autres sites pointent vers la page, Google peut l’afficher sans description. Pour retirer une page des résultats, utilisez la balise noindex — et laissez alors le robot y accéder pour qu’il la lise.
Que signifie « Disallow: / » ?
C’est le blocage total : aucun robot concerné ne peut explorer le site. On la trouve parfois oubliée après une phase de développement — c’est l’une des erreurs SEO les plus coûteuses, car le site disparaît progressivement des résultats.
Comment fonctionnent le joker * et le symbole $ ?
L’étoile remplace n’importe quelle suite de caractères : « Disallow: /*.pdf » bloque tous les PDF. Le dollar marque la fin de l’URL : « Disallow: /*.pdf$ » ne bloque que les adresses se terminant exactement par .pdf. En cas de conflit entre règles, la plus longue correspondance l’emporte, et Allow prime à longueur égale.
Mon site n’a pas de robots.txt : est-ce grave ?
Non : sans fichier, les moteurs explorent tout, ce qui convient à la plupart des petits sites. Le fichier devient utile pour écarter les zones sans intérêt (recherche interne, filtres, panier) et pour indiquer l’adresse du sitemap.