SEO y webmaster
Probador de robots.txt
Averigua al instante si una página está bloqueada o permitida para Google.
Contenido del robots.txt
Tu archivo robots.txt dicta a los buscadores qué pueden rastrear en tu sitio. Una sola línea mal escrita puede bloquear una carpeta entera — o el sitio completo — mientras todo sigue pareciendo normal para tus visitantes. Este probador descarga el robots.txt de cualquier sitio, te muestra su contenido completo y luego simula un rastreador: introduce una ruta y un user-agent (Googlebot, por ejemplo) y obtén el veredicto — permitida o bloqueada. La simulación aplica las reglas de precedencia reales, incluida la coincidencia más larga, el comodín * y el ancla $, de modo que la respuesta coincide con lo que Google haría de verdad. Gratis, sin registro, e ideal antes y después de cada publicación.
¿Cómo funciona?
- Introduce la dirección del sitio: su archivo robots.txt se descarga y se muestra.
- Escribe la ruta que quieres probar (por ejemplo: /blog/articulo o /admin/).
- Elige el rastreador a simular (Googlebot, Bingbot u otro).
- Haz clic en «Probar» y lee el veredicto: permitida o bloqueada, con la regla aplicada.
Preguntas frecuentes
¿Bloquear una página en robots.txt la elimina de Google?
No necesariamente. El bloqueo impide el rastreo, no la indexación: si otros sitios enlazan a la página, Google puede seguir mostrándola sin descripción. Para mantener una página fuera de los resultados, usa una etiqueta noindex — y deja entonces que los rastreadores accedan a la página para poder leerla.
¿Qué significa «Disallow: /»?
Bloqueo total: los rastreadores afectados no pueden explorar el sitio en absoluto. Suele ser un resto olvidado de la fase de desarrollo — y uno de los errores SEO más caros, porque el sitio desaparece poco a poco de los resultados de búsqueda.
¿Cómo funcionan el comodín * y el símbolo $?
El asterisco sustituye cualquier secuencia de caracteres: «Disallow: /*.pdf» bloquea todos los PDF. El signo de dólar marca el final de la URL: «Disallow: /*.pdf$» solo bloquea las direcciones que terminan exactamente en .pdf. Cuando hay reglas en conflicto, gana la coincidencia más larga, y Allow vence a Disallow a igual longitud.
Mi sitio no tiene robots.txt, ¿es un problema?
No: sin el archivo, los buscadores lo rastrean todo, lo que va bien para la mayoría de los sitios pequeños. El archivo resulta útil para mantener a los rastreadores fuera de las zonas sin valor (búsqueda interna, filtros, carrito) y para indicarles la dirección de tu sitemap.