Gerador de Robots.txt
O que esta ferramenta faz
Selecione um user-agent (ou use * para todos os bots), adicione regras Allow e Disallow para caminhos específicos e, opcionalmente, defina um crawl-delay e URL de sitemap. A prévia em tempo real mostra o conteúdo exato do robots.txt. Use uma predefinição para começar rapidamente e ajuste as regras conforme a estrutura do seu site.
Como usar
- Clique em uma predefinição (ex. WordPress) ou comece com Permitir Tudo.
- Selecione um User-Agent — use * para todos os crawlers.
- Adicione regras Disallow para os caminhos que deseja bloquear.
- Adicione a URL do Sitemap na seção Opções (opcional).
- Clique em Copiar ou Baixar para obter o arquivo.
Perguntas Frequentes
O que é robots.txt?
O robots.txt é um arquivo de texto simples na raiz do site que diz aos rastreadores quais páginas eles podem ou não acessar. Segue o Robots Exclusion Protocol e é o primeiro arquivo que os rastreadores verificam. Ele controla o orçamento de rastreamento, mas não é um mecanismo de segurança: as páginas continuam acessíveis diretamente.
O que significa Disallow: /?
Disallow: / impede o rastreador de acessar qualquer página do site. É a regra mais restritiva. Use só se quiser impedir totalmente um bot de rastrear o site, por exemplo bloquear rastreadores de treinamento de IA como o GPTBot.
Qual a diferença entre Allow e Disallow?
Disallow impede o acesso do rastreador a um caminho. Allow permite o acesso de forma explícita e serve para criar exceções dentro de um caminho bloqueado. Exemplo: Disallow /admin/ com Allow /admin/public/ deixa os rastreadores acessarem só o subdiretório public.
O que é Crawl-delay?
O Crawl-delay diz aos bots quantos segundos esperar entre as requisições, reduzindo a carga no servidor durante o rastreamento. Atenção: o Google ignora o Crawl-delay. Use o Google Search Console para controlar a taxa de rastreamento do Googlebot.
Onde devo colocar o arquivo robots.txt?
O robots.txt deve ficar na raiz do domínio, por exemplo https://example.com/robots.txt. Não pode ficar em um subdiretório. Cada subdomínio precisa do próprio robots.txt.