Como configurar o robots.txt personalizado e enviar o sitemap do Blogger

Para configurar corretamente o robots.txt e o sitemap no Blogger, você não precisa copiar códigos complexos, criar feeds Atom paginados nem alterar as configurações padrão apenas porque o blog atingiu determinada quantidade de postagens. O Blogger já possui mecanismos próprios para controlar rastreamento e gerar sitemaps, e na maioria dos projetos a configuração nativa é suficiente.

O robots.txt controla principalmente quais caminhos os rastreadores podem acessar. Ele não é uma ferramenta para garantir indexação e não deve ser usado como substituto da diretiva noindex. O sitemap, por sua vez, ajuda o Google a descobrir URLs, mas também não garante que todas as páginas enviadas serão rastreadas ou aparecerão nos resultados.

Neste tutorial, você aprenderá quando realmente vale a pena ativar o robots.txt personalizado no Blogger, como evitar bloqueios acidentais, como trabalhar com as tags de robôs e como enviar o sitemap.xml corretamente ao Google Search Console.

Robots.txt, indexação e sitemap cumprem funções diferentes

Antes de alterar qualquer configuração no Blogger, é fundamental separar três conceitos que frequentemente aparecem misturados em tutoriais de SEO.

• Rastreamento: processo pelo qual um robô acessa uma URL e obtém seu conteúdo.
• Indexação: processo no qual o mecanismo de pesquisa analisa uma página e decide se ela poderá fazer parte do índice.
• Sitemap: arquivo que ajuda mecanismos de pesquisa a descobrir URLs consideradas relevantes pelo site.

Esses processos estão relacionados, mas um não substitui o outro.

Permitir que o Googlebot rastreie uma página não significa que ela será necessariamente indexada. Da mesma forma, colocar uma URL em um sitemap não obriga o Google a indexá-la.

Por isso, configurações de SEO técnico precisam ser utilizadas para resolver problemas específicos, e não como fórmulas para “forçar” o Google a indexar um blog.

O que é o robots.txt no Blogger

O robots.txt é um arquivo acessível na raiz do site que contém regras destinadas aos rastreadores.

Em um blog, ele pode ser consultado adicionando:

/robots.txt

ao final do domínio.

Exemplo:

https://www.seudominio.com/robots.txt

O Blogger gera e administra esse recurso automaticamente enquanto a opção de robots.txt personalizado permanece desativada.

Quando você ativa robots.txt personalizado, o conteúdo inserido passa a substituir a configuração que a plataforma disponibilizaria normalmente. Isso é justamente o que torna essa ferramenta útil e, ao mesmo tempo, potencialmente perigosa.

Robots.txt não serve para retirar uma página do Google

Esse é um dos conceitos mais importantes deste tutorial.

Uma diretiva como:

User-agent: *
Disallow: /pagina/

diz ao rastreador para não acessar aquele caminho.

Ela não significa:

“remova esta URL do índice”.

Uma URL bloqueada pelo robots.txt ainda pode ser conhecida pelo Google por meio de links internos, links externos ou outras fontes.

Se o objetivo for impedir que uma página apareça nos resultados, a solução apropriada normalmente envolve uma diretiva de indexação, como noindex, desde que o robô tenha permissão para acessar a página e ler essa instrução.

Não bloqueie pelo robots.txt uma página que precisa entregar noindex

A combinação abaixo pode criar uma contradição:

1. bloquear uma URL pelo robots.txt;
2. adicionar noindex na mesma URL;
3. esperar que o Google rastreie a página para encontrar o noindex.

Se o rastreamento está bloqueado, o Google pode não conseguir acessar a página para encontrar a diretiva de indexação.

Por isso, não aplique automaticamente Disallow e noindex à mesma estrutura sem entender o objetivo de cada regra.

Preciso ativar o robots.txt personalizado no Blogger?

Na maioria dos blogs, não.

O fato de o Blogger possuir uma opção chamada “Ativar robots.txt personalizado” não significa que ela precise ser ativada para melhorar o SEO.

A configuração nativa da plataforma atende boa parte dos blogs e reduz a possibilidade de o proprietário bloquear acidentalmente conteúdo importante.

Personalize o arquivo apenas quando você consegue responder claramente:

qual problema de rastreamento estou tentando resolver com essa alteração?

Quando uma personalização pode fazer sentido

Alguns exemplos:

• você possui uma estrutura específica que realmente precisa ter o rastreamento restringido;
• um template personalizado criou caminhos desnecessários que estão sendo rastreados;
• você quer alterar conscientemente como determinadas rotas do Blogger são tratadas;
• uma auditoria técnica identificou uma regra específica que precisa ser modificada;
• você precisa declarar explicitamente um sitemap adicional.

Nenhuma dessas situações significa que a personalização é obrigatória.

Quando não ativar

Evite alterar o robots.txt apenas porque:

• um tutorial disse que “todo Blogger precisa disso”;
• você quer aprovação no AdSense;
• o blog passou de 100, 500 ou 1.000 artigos;
• você quer “aumentar autoridade”;
• você quer indexar mais rápido;
• outro blog utiliza determinado código.

O robots.txt não concede autoridade, não garante indexação e não é um requisito geral para aprovação no AdSense.

Como verificar o robots.txt que o Blogger está entregando

Antes de personalizar qualquer coisa, descubra o que já está funcionando.

1. Abra seu blog no navegador.
2. Adicione /robots.txt após o domínio.
3. Pressione Enter.
4. Analise o conteúdo exibido.

Exemplo:

https://www.seudominio.com/robots.txt

Não presuma que um código encontrado em um artigo antigo representa exatamente o arquivo gerado atualmente para todos os blogs.

A melhor referência para saber o que seu projeto está entregando é abrir o próprio arquivo.

Entenda as principais diretivas do robots.txt

User-agent

Define para qual rastreador as regras seguintes são destinadas.

Exemplo:

User-agent: *

O asterisco representa um grupo genérico de rastreadores que reconhecem essas regras.

Disallow

Solicita ao rastreador que não acesse determinado caminho.

Exemplo:

Disallow: /search

No Blogger, isso merece atenção porque diversas URLs da plataforma utilizam a estrutura /search.

Allow

Pode ser utilizada para criar uma exceção mais específica dentro de um caminho bloqueado.

Não é necessário acrescentar regras Allow indiscriminadamente quando não existe bloqueio correspondente que exija uma exceção.

Sitemap

Informa o endereço absoluto de um sitemap.

Exemplo:

Sitemap: https://www.seudominio.com/sitemap.xml

Dentro do robots.txt, utilize o endereço completo, incluindo protocolo e domínio.

Cuidado ao bloquear /search no Blogger

Uma das configurações mais copiadas em tutoriais do Blogger é:

Disallow: /search

Essa regra não atinge apenas a caixa de pesquisa interna.

As URLs de marcadores do Blogger também costumam utilizar caminhos como:

/search/label/Nome-do-Marcador

Portanto, bloquear toda a estrutura /search também pode impedir o rastreamento dessas páginas.

Isso não significa que você necessariamente deva liberar todas as páginas de marcadores. Significa apenas que a decisão precisa ser consciente.

Se os marcadores são usados somente para navegação interna, você pode não ter interesse em posicioná-los como páginas independentes.

Se você transformou determinadas categorias em páginas editoriais importantes para SEO, bloquear todo o caminho sem analisar as consequências pode entrar em conflito com sua estratégia.

Modelo simples de robots.txt personalizado para Blogger

Se você realmente decidiu substituir a configuração nativa e pretende manter uma estrutura simples que bloqueie o caminho /search, um modelo básico pode ser:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.seudominio.com/sitemap.xml

Substitua:

https://www.seudominio.com

pelo endereço real do blog.

Esse código é um exemplo, não uma configuração universal que todos os usuários precisam instalar.

Se você não possui uma necessidade concreta para personalizar o arquivo, permanecer com a configuração administrada pelo Blogger é perfeitamente válido.

Como ativar o robots.txt personalizado no Blogger

Se, depois da análise, você realmente precisar da personalização:

1. acesse o painel do Blogger;
2. selecione o blog desejado;
3. abra Configurações;
4. localize Rastreadores e indexação;
5. ative Ativar robots.txt personalizado;
6. abra o campo robots.txt personalizado;
7. insira as regras cuidadosamente;
8. salve.

Depois, abra novamente:

https://seudominio.com/robots.txt

e confirme se o arquivo publicado corresponde ao que você pretendia configurar.

O erro mais perigoso: Disallow: /

A regra abaixo bloqueia o rastreamento de praticamente todo o site para o grupo ao qual ela se aplica:

User-agent: *
Disallow: /

Não confunda:

Disallow:

com:

Disallow: /

A barra muda completamente o significado da regra.

Esse é um dos principais motivos para evitar copiar arquivos complexos sem entender cada linha.

Não bloqueie CSS e JavaScript sem necessidade

Outro problema de modelos antigos é adicionar bloqueios indiscriminados a arquivos e recursos utilizados pelo template.

O Google pode precisar acessar CSS, JavaScript e outros recursos para renderizar a página e compreender como ela é apresentada aos usuários.

Por isso, não adicione regras apenas para tentar reduzir artificialmente o número de arquivos rastreados.

No Blogger, especialmente, você não possui a mesma estrutura de diretórios de uma hospedagem convencional. Códigos de robots.txt criados para WordPress, servidores Apache ou outros CMSs não devem ser transplantados diretamente para o Blogspot.

Noindex não deve ser colocado dentro do robots.txt

Outro código antigo que ainda aparece em tutoriais é semelhante a:

Noindex: /search

Não utilize esse formato esperando que o Google o trate como uma diretiva válida de indexação no robots.txt.

Para impedir a indexação, utilize mecanismos apropriados de controle de indexação, como as tags robots disponibilizadas pela plataforma.

Tags personalizadas de cabeçalho de robôs no Blogger

Além do robots.txt, o Blogger possui a opção:

Ativar tags personalizadas de cabeçalho de robots.

Essa configuração trata de diretivas relacionadas à indexação e à apresentação das páginas nos mecanismos de pesquisa.

Ela não deve ser confundida com o robots.txt.

Novamente, não existe obrigação de ativá-la em todo blog.

O que significa all

A diretiva all indica ausência de restrições adicionais de indexação e exibição.

Na prática, esse já é o comportamento padrão quando nenhuma restrição equivalente está presente, portanto não existe benefício especial de SEO em marcar all apenas para “reforçar” que uma página precisa ser indexada.

O que significa noindex

noindex solicita que uma página não seja exibida nos resultados de pesquisa depois que o mecanismo conseguir rastrear e processar a diretiva.

Por isso, é diferente de Disallow.

O que significa nofollow

nofollow está relacionado ao tratamento dos links encontrados naquela página.

Não existe razão para marcá-lo automaticamente em páginas de arquivos, categorias ou resultados de pesquisa apenas porque você não quer que essas páginas sejam indexadas.

Não use mais noodp como recomendação de SEO

A diretiva noodp aparecia em tutoriais antigos porque existia o Open Directory Project, também conhecido como DMOZ.

Esse diretório deixou de ser uma fonte relevante para a apresentação dos resultados do Google há muitos anos.

Portanto, não existe motivo para recomendar noodp atualmente.

Se você encontrar configurações como:

all, noodp

ou:

noindex, noodp

trate noodp como um elemento legado, e não como uma configuração necessária para SEO.

Robots.txt não evita canibalização de palavras-chave

Não existe configuração de robots.txt que ofereça “garantia absoluta” contra canibalização.

Canibalização ocorre quando páginas do próprio site disputam consultas semelhantes sem uma diferenciação clara de intenção, estrutura ou propósito.

A solução normalmente envolve fatores editoriais e arquitetônicos como:

• diferenciar a intenção dos artigos;
• consolidar conteúdos excessivamente semelhantes;
• melhorar links internos;
• utilizar URLs canônicas corretamente quando necessário;
• evitar criação de páginas duplicadas;
• reestruturar títulos e conteúdos.

Bloquear uma página no robots.txt apenas impede o rastreamento conforme a regra aplicada. Isso não resolve automaticamente a relação semântica entre dois artigos concorrentes.

Como funciona o sitemap do Blogger

O Blogger gera automaticamente sitemap para o conteúdo publicado.

O endereço principal utilizado normalmente é:

https://www.seudominio.com/sitemap.xml

Em um endereço Blogspot:

https://nomedoblog.blogspot.com/sitemap.xml

Você não precisa criar manualmente um arquivo XML, hospedar um sitemap externo ou utilizar um gerador de terceiros apenas para ter um sitemap básico no Blogger.

Sitemap de páginas estáticas

O Blogger também disponibiliza em muitos blogs um endpoint dedicado às páginas estáticas:

https://www.seudominio.com/sitemap-pages.xml

Antes de enviá-lo, abra o endereço no navegador e confirme se ele é disponibilizado corretamente pelo seu blog.

Ele pode ser útil para páginas publicadas na seção Páginas do Blogger, como Sobre, Contato e outros conteúdos estáticos que você deseja disponibilizar aos mecanismos de pesquisa.

Não existe motivo para substituir sitemap.xml por feeds Atom após 500 posts

Uma orientação antiga bastante difundida dizia que:

“O sitemap.xml do Blogger só suporta 500 postagens. Depois disso, é obrigatório enviar feeds Atom divididos em blocos.”

Essa afirmação não deve ser tratada como regra atual.

O Blogger possui sitemap XML nativo. Não existe necessidade de automaticamente criar uma estrutura como:

atom.xml?redirect=false&start-index=1&max-results=500
atom.xml?redirect=false&start-index=501&max-results=500
atom.xml?redirect=false&start-index=1001&max-results=500

apenas porque a quantidade de postagens ultrapassou 500.

A existência de um limite utilizado em determinados contextos de feeds ou APIs não deve ser confundida com uma limitação universal do sitemap XML nativo do Blogger.

Então o feed Atom não serve para nada?

Também não.

RSS e Atom são formatos válidos que podem ajudar mecanismos de pesquisa a descobrir conteúdos e atualizações. O próprio Google reconhece feeds RSS e Atom como formatos que podem fornecer informações sobre URLs.

O erro está em transformar esse recurso complementar em uma exigência do Blogger.

Portanto:

• sitemap.xml deve ser tratado como o sitemap nativo principal do Blogger;
• RSS e Atom podem existir como fontes complementares;
• não existe necessidade de criar automaticamente vários feeds paginados após atingir uma quantidade arbitrária de artigos.

Como enviar o sitemap do Blogger ao Google Search Console

O processo é simples.

Passo 1: abra a propriedade correta

Acesse o Google Search Console e selecione a propriedade correspondente ao domínio utilizado atualmente pelo blog.

Se você migrou recentemente de:

nomedoblog.blogspot.com

para:

www.seudominio.com

confirme que está analisando o endereço correto.

Passo 2: abra Sitemaps

No menu do Search Console, localize a área destinada aos sitemaps.

Passo 3: envie sitemap.xml

No campo correspondente, informe:

sitemap.xml

e envie.

O Search Console tentará buscar e processar o arquivo.

Passo 4: confira o status

Depois do envio, analise:

• se o sitemap pôde ser buscado;
• quando ocorreu a última leitura;
• quantas URLs foram detectadas;
• se existem erros de processamento.

Não conclua que algo está errado simplesmente porque uma URL descoberta pelo sitemap ainda não foi indexada.

Vale a pena enviar sitemap-pages.xml?

Se o endpoint estiver disponível e você possui páginas estáticas que deseja tornar descobertas pelo Google, pode enviá-lo também.

No Search Console:

sitemap-pages.xml

O sitemap é um mecanismo de descoberta. Isso não significa que páginas institucionais ou qualquer outra URL listada nele serão obrigatoriamente indexadas.

Enviar sitemap garante indexação?

Não.

O sitemap ajuda o Google a conhecer URLs.

Depois disso, o mecanismo ainda precisa decidir:

• quando rastrear;
• se conseguirá acessar a página;
• qual URL é canônica;
• se o conteúdo é indexável;
• se a página será incluída no índice.

Portanto, não utilize frases como:

• “enviar sitemap força a indexação”;
• “sitemap garante que todos os posts serão indexados”;
• “sitemap aumenta automaticamente o ranking”;
• “depois do envio o artigo aparecerá no Google em poucas horas”.

Nenhuma dessas promessas pode ser garantida.

Preciso reenviar o sitemap toda vez que publicar?

Normalmente, não.

Depois que o sitemap foi conhecido e processado, o Google pode consultá-lo novamente.

Você não precisa entrar no Search Console a cada nova postagem apenas para enviar novamente exatamente o mesmo endereço.

O Blogger atualiza o conteúdo do sitemap conforme o próprio blog muda.

Como diagnosticar “Não foi possível buscar” no Search Console

Se houver falha no processamento do sitemap, comece pelo teste mais simples.

Abra diretamente:

https://www.seudominio.com/sitemap.xml

Se você utiliza páginas estáticas e enviou o endpoint correspondente, teste também:

https://www.seudominio.com/sitemap-pages.xml

Depois confira:

• se o endereço abre publicamente;
• se o domínio está correto;
• se HTTPS funciona;
• se não existe redirecionamento incorreto;
• se a propriedade correta foi selecionada no Search Console;
• se o arquivo não está sendo bloqueado por uma configuração personalizada.

Uma falha temporária não deve ser diagnosticada automaticamente como “cache de DNS” ou receber uma regra fixa de “espere exatamente 24 horas”. O status pode ter diferentes causas.

Use a Inspeção de URL para diagnosticar postagens específicas

O relatório de Sitemap mostra informações sobre o arquivo enviado e as URLs descobertas.

Quando o problema é uma postagem específica, utilize a ferramenta de Inspeção de URL.

Ela ajuda a verificar questões como:

• possibilidade de rastreamento;
• diretivas de indexação;
• URL canônica;
• último rastreamento conhecido;
• estado de indexação.

Essa análise é muito mais útil do que modificar o robots.txt toda vez que um artigo demora para aparecer na pesquisa.

Não altere robots.txt para resolver qualquer problema de indexação

Uma URL pode não estar indexada por várias razões diferentes.

Por exemplo:

• o conteúdo é muito recente;
• o Google ainda não rastreou a página;
• existe uma diretiva noindex;
• o Google selecionou outra URL como canônica;
• o conteúdo é muito semelhante a outra página;
• há problemas de qualidade;
• a URL não possui links internos suficientes;
• há um problema técnico de acesso.

O robots.txt é apenas uma das possíveis causas.

Robots.txt não corrige conteúdo duplicado sozinho

Bloquear URLs duplicadas pode reduzir determinado rastreamento, mas não transforme o robots.txt em uma ferramenta genérica de “correção de conteúdo duplicado”.

Dependendo da situação, as soluções podem envolver:

• canonicalização;
• redirecionamentos;
• reestruturação de URLs;
• consolidação de conteúdo;
• links internos;
• noindex quando realmente apropriado.

Robots.txt personalizado não é requisito para o Google AdSense

Ativar essa opção também não é uma etapa obrigatória para receber aprovação no Google AdSense.

Um blog pode utilizar a configuração nativa do Blogger e ser perfeitamente acessível.

Não inclua no seu checklist de monetização frases como:

“Antes de solicitar o AdSense, é obrigatório ativar robots.txt personalizado.”

O objetivo deve ser garantir que o site funciona e que conteúdo importante não está bloqueado acidentalmente.

Checklist técnico de robots.txt e sitemap no Blogger

• ☐ O blog está publicamente acessível.
• ☐ O HTTPS funciona corretamente.
• ☐ O endereço /robots.txt abre no navegador.
• ☐ Você verificou o arquivo atual antes de personalizá-lo.
• ☐ O robots.txt personalizado permanece desativado se não existe necessidade específica.
• ☐ Não existe Disallow: / aplicado acidentalmente ao site inteiro.
• ☐ Nenhum código foi copiado de outro CMS sem adaptação.
• ☐ CSS e JavaScript importantes não estão sendo bloqueados indiscriminadamente.
• ☐ Você não está usando robots.txt como substituto de noindex.
• ☐ Nenhuma diretiva noodp está sendo recomendada como técnica atual de SEO.
• ☐ O sitemap principal abre em /sitemap.xml.
• ☐ O sitemap foi enviado para a propriedade correta no Search Console.
• ☐ sitemap-pages.xml foi verificado caso você queira enviar páginas estáticas.
• ☐ Feeds Atom não estão sendo tratados como obrigatórios após 500 postagens.
• ☐ O sitemap não está sendo tratado como garantia de indexação.
• ☐ URLs individuais com problema estão sendo verificadas pela Inspeção de URL.
• ☐ As postagens importantes possuem links internos.

Configuração padrão ou robots.txt personalizado: qual escolher?

Perguntas frequentes sobre robots.txt e sitemap no Blogger

É obrigatório ativar o robots.txt personalizado?

Não. O Blogger já oferece configuração própria de rastreamento. A personalização deve ser utilizada somente quando existe uma necessidade técnica específica.

Robots.txt melhora o posicionamento no Google?

Não existe uma regra dizendo que personalizar o robots.txt aumenta posições. Uma configuração adequada pode evitar problemas de rastreamento, enquanto uma configuração incorreta pode impedir o acesso a conteúdo importante.

Robots.txt impede uma página de aparecer no Google?

Não é o mecanismo apropriado para garantir remoção do índice. O arquivo controla rastreamento. Para impedir indexação, utilize diretivas ou métodos específicos para essa finalidade.

Posso usar noindex dentro do robots.txt?

Não como uma diretiva de indexação suportada pelo Google. Utilize as configurações robots apropriadas da página ou os mecanismos disponibilizados pelo Blogger.

Preciso usar noodp?

Não. A diretiva está associada ao antigo Open Directory Project e não deve fazer parte de uma recomendação moderna de SEO para Google.

Qual é o sitemap do Blogger?

O endereço principal normalmente é /sitemap.xml na raiz do domínio. O Blogger também disponibiliza em muitos casos /sitemap-pages.xml para páginas estáticas.

O sitemap do Blogger suporta somente 500 artigos?

Não trate essa afirmação antiga como regra atual. O Blogger possui sitemap XML nativo e não existe motivo para substituir automaticamente esse sistema por feeds Atom paginados quando o blog ultrapassa 500 postagens.

Preciso enviar atom.xml ao Search Console?

Não obrigatoriamente. RSS e Atom podem ser utilizados como fontes complementares de descoberta, mas o Blogger já disponibiliza sitemap XML nativo.

Enviar sitemap faz o Google indexar meus artigos?

Não. O sitemap ajuda na descoberta das URLs, mas o Google não garante rastreamento ou indexação de cada endereço informado.

Preciso reenviar o sitemap após cada artigo?

Normalmente não. Depois de conhecer o arquivo, o Google pode revisitá-lo. O Blogger atualiza automaticamente o sitemap conforme o conteúdo publicado.

Posso bloquear /search?

Pode ser uma decisão válida em determinados projetos, mas lembre-se de que páginas de marcadores do Blogger também utilizam caminhos dentro de /search. Analise sua arquitetura antes de aplicar uma regra geral.

Disallow e noindex são a mesma coisa?

Não. Disallow controla rastreamento pelo robots.txt. noindex controla a possibilidade de uma página ser exibida nos resultados depois que o rastreador consegue acessar e processar a diretiva.

Configurar robots.txt evita canibalização?

Não existe garantia desse tipo. Canibalização envolve relação semântica entre páginas, intenção de busca, estrutura do conteúdo, canonicalização e arquitetura interna, entre outros fatores.

Conclusão: no Blogger, menos alterações podem significar uma configuração mais segura

O robots.txt é uma ferramenta poderosa justamente porque consegue impedir rastreadores de acessar partes do site. Por esse motivo, ele não deve ser tratado como uma caixa que precisa ser obrigatoriamente ativada em todo projeto.

Para a maioria dos usuários do Blogger, o melhor ponto de partida é manter a configuração nativa, confirmar que o sitemap está funcionando e acompanhar problemas concretos pelo Google Search Console.

Se uma personalização for realmente necessária, altere apenas aquilo que você compreende e consegue testar.

Não utilize noodp como técnica atual, não crie feeds Atom paginados apenas porque o blog passou de 500 artigos, não combine indiscriminadamente bloqueio no robots.txt com noindex e nunca prometa que sitemap ou robots.txt garantem indexação.

O objetivo do SEO técnico é remover barreiras para que mecanismos de pesquisa consigam descobrir e compreender um site. A decisão final de rastrear, indexar e posicionar uma página continua dependendo de muitos outros fatores.

Próxima leitura recomendada: se você ainda está finalizando toda a estrutura do projeto, veja Como Configurar um Blog Novo no Blogger para Receber o Google AdSense.