SEO e webmaster
Testador de robots.txt
Saiba de imediato se uma página está bloqueada ou permitida para o Google.
Conteúdo do robots.txt
O ficheiro robots.txt diz aos motores de busca o que podem rastrear no seu site. Uma única linha mal escrita pode bloquear uma pasta inteira — ou o site todo — sem que nada pareça diferente para os visitantes humanos. Este testador carrega o robots.txt de qualquer site, mostra o seu conteúdo completo e depois simula um robô: indique um caminho e um user-agent (o Googlebot, por exemplo) e receba o veredicto — permitido ou bloqueado. A simulação aplica as verdadeiras regras de precedência, incluindo a correspondência mais longa, o carácter universal * e a âncora $, para que a resposta corresponda ao que o Google faria. Grátis, sem registo, ideal antes e depois de cada publicação.
Como funciona?
- Introduza o endereço do site — o ficheiro robots.txt é carregado e apresentado.
- Escreva o caminho que quer testar (por exemplo, /blog/artigo ou /admin/).
- Escolha o robô a simular (Googlebot, Bingbot ou outro).
- Clique em «Testar» e leia o veredicto: permitido ou bloqueado, com a regra aplicada.
Perguntas frequentes
Bloquear uma página no robots.txt remove-a do Google?
Não necessariamente. O bloqueio impede o rastreio, não a indexação: se outros sites apontarem para a página, o Google pode continuar a mostrá-la sem descrição. Para retirar uma página dos resultados, use a etiqueta noindex — e deixe então o robô aceder à página para a poder ler.
O que significa «Disallow: /»?
Bloqueio total: os robôs visados não podem explorar o site de todo. É muitas vezes um resto esquecido de uma fase de desenvolvimento — e um dos erros de SEO mais caros, porque o site desaparece progressivamente dos resultados de pesquisa.
Como funcionam o * e o símbolo $?
O asterisco corresponde a qualquer sequência de caracteres: «Disallow: /*.pdf» bloqueia todos os PDF. O cifrão marca o fim do URL: «Disallow: /*.pdf$» só bloqueia endereços que terminem exatamente em .pdf. Em caso de conflito entre regras, ganha a correspondência mais longa, e o Allow prevalece em igualdade de comprimento.
O meu site não tem robots.txt — é um problema?
Não: sem o ficheiro, os motores rastreiam tudo, o que serve à maioria dos sites pequenos. O ficheiro torna-se útil para afastar os robôs de zonas sem valor (pesquisa interna, filtros, carrinho) e para lhes indicar o endereço do sitemap.