Ao trabalhar com WordPress e plugins de cache, como WP Super Cache, W3 Total Cache, LiteSpeed Cache, entre outros, é essencial garantir que arquivos sensíveis à indexação e rastreamento, como o robots.txt e o sitemap.xml, não sejam cacheados.
Esses arquivos devem estar sempre atualizados e disponíveis para os mecanismos de busca sem interferência de cache, pois qualquer versão desatualizada pode comprometer seu SEO ou impedir o rastreamento adequado do site.
Neste artigo do Blog Dolutech, você aprenderá por que não se deve cachear esses arquivos, como identificar se estão sendo afetados pelo cache, e como adicionar regras em servidores Apache, Nginx e via plugins de cache para que o sitemap e o robots.txt estejam sempre atualizados e acessíveis em tempo real.
Por que não cachear o sitemap.xml e o robots.txt
1. Impacto direto no SEO
O sitemap.xml orienta os robôs de busca sobre a estrutura do site, novas páginas e atualizações. Já o robots.txt define as regras de rastreamento. Ambos são fundamentais para garantir que o site seja indexado corretamente.
Se um desses arquivos for cacheado e o conteúdo mudar, os mecanismos de busca podem continuar acessando uma versão obsoleta por dias ou semanas.
2. Risco de bloqueios acidentais
Mudanças em regras do robots.txt exigem efeito imediato. Se o cache estiver ativo, uma permissão ou bloqueio pode continuar sendo aplicado erroneamente.
3. Atualizações frequentes em sites dinâmicos
Em sites com muitos conteúdos publicados, atualizações em sitemaps acontecem constantemente. O cache pode atrapalhar essa comunicação com os bots.
Como Impedir o Cache no Apache / LiteSpeed (.htaccess)
Se o seu servidor utiliza Apache, você pode editar o arquivo .htaccess na raiz da instalação WordPress.
Adicione as seguintes regras no final do arquivo:
# Não cachear o robots.txt
<FilesMatch "robots\.txt$">
Header set Cache-Control "no-store, no-cache, must-revalidate, max-age=0"
</FilesMatch>
# Não cachear sitemaps (ex: sitemap_index.xml, post-sitemap1.xml)
<FilesMatch "sitemap.*\.xml$">
Header set Cache-Control "no-store, no-cache, must-revalidate, max-age=0"
</FilesMatch>Salve o arquivo e reinicie o Apache, se necessário. Para validar, acesse https://seudominio.com/robots.txt, abra o console do navegador (F12) e confira o cabeçalho Cache-Control.
Como Impedir o Cache no Nginx
Para servidores Nginx, as regras são aplicadas no bloco de configuração do seu site, geralmente em /etc/nginx/sites-available/ ou /etc/nginx/conf.d/.
Adicione dentro do bloco server:
# Não cachear o robots.txt
location = /robots.txt {
add_header Cache-Control "no-store, no-cache, must-revalidate, max-age=0";
try_files $uri =404;
}
# Não cachear os arquivos sitemap.xml
location ~* /sitemap.*\.xml$ {
add_header Cache-Control "no-store, no-cache, must-revalidate, max-age=0";
try_files $uri =404;
}Após salvar o arquivo, execute:
sudo nginx -t && sudo systemctl reload nginxComo Impedir o Cache via Plugins WordPress
LiteSpeed Cache
- Vá em LiteSpeed Cache > Cache > Excludes
- Na opção Do Not Cache URIs, adicione:
/robots.txt
/sitemap.xml
/sitemap_index.xml- Salve as alterações.
W3 Total Cache
- Acesse Performance > Page Cache
- Vá até Never cache the following pages e insira:
robots.txt
sitemap.xml
sitemap_index.xml- Salve e limpe o cache.
WP Super Cache
- Vá até Configurações > WP Super Cache > Avançado
- Em “URLs não cacheadas”, adicione:
robots.txt
sitemap.xmlSalve e clique em “Excluir todo o cache”.
Verificando se o Cache foi Desativado com Sucesso
Após aplicar as configurações, acesse seus arquivos:
https://seudominio.com/robots.txthttps://seudominio.com/sitemap_index.xml
No navegador, pressione F12 e acesse a aba Network. Clique sobre os arquivos e verifique os headers de resposta. O esperado é:
Cache-Control: no-store, no-cache, must-revalidate, max-age=0Caso não apareça, verifique se:
- O servidor reiniciou (Apache/Nginx)
- O plugin de cache foi limpo
- Não há outra regra sobrescrevendo o comportamento
Conclusão
Manter o robots.txt e o sitemap.xml fora do cache é uma prática essencial para garantir que mecanismos de busca leiam sempre informações atualizadas e confiáveis sobre seu site. Em um cenário onde a performance e o SEO caminham juntos, é importante aplicar cache seletivamente e com critério.
A Dolutech recomenda revisar periodicamente suas configurações de cache, principalmente após alterações de tema, plugins ou migração de servidor. A correta configuração do cache e das exclusões impacta diretamente na eficiência do SEO técnico e na indexação orgânica.
Amante por tecnologia Especialista em Cibersegurança e Big Data, Formado em Administração de Infraestrutura de Redes, Pós-Graduado em Ciências de Dados e Big Data Analytics e Machine Learning, Com MBA em Segurança da Informação, Escritor do livro ” Cibersegurança: Protegendo a sua Reputação Digital”.
