SEO
Generador de robots.txt
Un robots.txt limpio en treinta segundos, sin errores de sintaxis.
El robots.txt es un archivo diminuto con consecuencias enormes: una línea mal escrita puede desindexar un sitio entero, o dejar que los rastreadores recorran secciones que no pintan nada en Google. Compón el tuyo en unos clics: permite o bloquea todos los robots, decide si rechazas los bots de entrenamiento de IA (GPTBot, ClaudeBot, PerplexityBot, CCBot…), lista las rutas que quieres excluir y añade la dirección de tu sitemap. La herramienta genera un archivo con una sintaxis impecable, listo para colocar en la raíz de tu sitio, y el resultado se actualiza en vivo a medida que marcas las opciones. Gratis, sin registro y explicado con la claridad suficiente para que no rompas nada.
¿Cómo funciona?
- Elige la regla base: permitir o bloquear todos los robots.
- Marca si quieres el bloqueo de bots de IA y lista las rutas a excluir.
- Añade la URL de tu sitemap.
- Copia el archivo generado y colócalo en la raíz del sitio (/robots.txt).
Preguntas frecuentes
¿Qué hace exactamente el robots.txt?
Indica a los rastreadores qué secciones del sitio pueden explorar. Es una directiva de rastreo, no una medida de seguridad: el contenido sensible debe protegerse con autenticación, nunca con una simple línea Disallow.
¿Debería bloquear los bots de IA?
Es una decisión editorial: bloquear GPTBot, ClaudeBot o CCBot evita que tu contenido se use para entrenar modelos, pero también puede reducir tu visibilidad en las respuestas de los asistentes de IA — un canal de descubrimiento en pleno crecimiento. Los rastreadores de los buscadores clásicos no se ven afectados en ningún caso.
¿Bloquear una página en robots.txt la saca de Google?
No necesariamente: una página bloqueada puede seguir indexada si otros sitios la enlazan. Para mantener una página fuera de los resultados, usa mejor una etiqueta noindex — y no la bloquees en robots.txt, o Google nunca verá la etiqueta.
¿Dónde coloco el archivo generado?
En la raíz del dominio, accesible en tusitio.com/robots.txt. Cada subdominio tiene su propio robots.txt. Una vez publicado, verifícalo en Search Console.