Semalt Expert: um guia para impedir o Google de rastrear sitemaps antigos

À medida que o site cresce, você faz o possível para encontrar maneiras de melhorar sua visibilidade e credibilidade na internet. Às vezes, os efeitos de como nossos sites costumavam funcionar permanecem para trás, e é aqui que devemos prestar atenção.

Siga as dicas a seguir de Max Bell, gerente de sucesso do cliente da Semalt , para impedir o Google de rastrear sites antigos.

Algumas semanas atrás, um dos meus clientes me disse que ele tinha um site de comércio eletrônico. Ele passou por várias mudanças: da estrutura da URL ao mapa do site, tudo foi modificado para tornar o site mais visível.

O cliente notou algumas alterações no Google Search Console e encontrou os erros de rastreamento lá. O que ele observou foi que havia um grande número de URLs antigas e novas que estavam gerando tráfego falso. Alguns deles, no entanto, estavam mostrando erros de acesso negado 403 e não encontrado 404.

Meu cliente me disse que o maior problema que ele tinha era um sitemap antigo que existia na pasta raiz. Seu site usava vários plugins Google Sitemaps XML do Google anteriormente, mas agora ele dependia do WordPress SEO da Yoast para o mapa do site. Vários plugins antigos de sitemap, no entanto, criaram uma confusão para ele. Eles estavam presentes na pasta raiz denominada sitemap.xml.gz. Desde que ele começou a usar os plug-ins do Yoast para criar mapas de site para todas as postagens, categorias de páginas e tags, ele não precisava mais desses plug-ins. Infelizmente, a pessoa não enviou o sitemap.xml.gz ao Google Search Console. Ele havia enviado apenas seu sitemap do Yoast, e o Google também estava rastreando seus antigos sitemaps.

O que rastrear?

A pessoa não excluiu o mapa do site antigo da pasta raiz, o que também estava sendo indexado. Voltei para ele e expliquei que um sitemap é apenas uma sugestão do que deve ser rastreado nos resultados do mecanismo de pesquisa. Você provavelmente acha que excluir os sitemaps antigos impedirá o Google de rastrear o URL extinto, mas isso não é verdade. Minha experiência diz que o Google tenta indexar todos os URLs antigos várias vezes ao dia, certificando-se de que os erros 404 sejam reais e não um acidente.

O Googlebot pode armazenar a memória de links antigos e novos que ele encontrará no mapa do site. Ele visita seu site em intervalos regulares, certificando-se de que todas as páginas sejam indexadas corretamente. O Googlebot tenta avaliar se os links são válidos ou inválidos para que os visitantes não tenham nenhum problema.

É óbvio que os webmasters ficarão confusos quando o número de erros de rastreamento aumentar. Todos eles querem diminuí-lo em grande medida. Como informar o Google a desconsiderar todos os sitemaps antigos? Você pode fazer isso eliminando todos os rastreamentos indesejados e ímpares do sitemap. Anteriormente, a única maneira de tornar isso possível eram os arquivos .htaccess. Agradecemos ao WordPress por nos fornecer alguns plugins.

Os sites do WordPress têm esse arquivo em suas pastas raiz. Então, você só precisa acessar o FTP e ativar os arquivos ocultos no cPanel. Vá para a opção Gerenciador de arquivos para editar este arquivo conforme sua exigência. Você não deve esquecer que a edição incorreta pode danificar seu site, portanto, sempre faça backup de todos os dados.

Depois de adicionar o snippet ao arquivo, todos os URLs expirados desaparecerão dos erros de rastreamento em pouco tempo. Você não deve esquecer que o Google deseja que você mantenha seu site ativo, diminuindo as chances de erros 404.