Google Esclarece Indexação de URLs Bloqueadas por Robots.txt
Mesmo com bloqueio via robots.txt, Google pode indexar URLs, alertando que isto nem sempre é um problema crítico para SEO.
O Google esclareceu um cenário recorrente no Search Console, onde milhares de URLs são reportadas como 'Indexadas, embora bloqueadas por robots.txt'. Ao contrário do que muitos podem supor, a empresa afirma que essa condição nem sempre representa um problema técnico ou de otimização. A indexação de páginas impedidas de serem rastreadas por robots.txt pode ocorrer através de links externos, o que as torna conhecidas pelo motor de busca e passíveis de aparecerem nos resultados, embora sem acesso ao seu conteúdo completo para ranqueamento.
Essa nuance é crucial para profissionais de SEO, indicando que o robots.txt controla o acesso do rastreador, mas não a visibilidade da URL nos índices do Google. Entender essa distinção é fundamental para auditar a saúde de um site, distinguindo entre URLs que não devem ser indexadas e aquelas que, embora bloqueadas para rastreamento, são legitimamente referenciadas e, porventura, relevantes para o usuário.
O esclarecimento sugere uma avaliação cuidadosa da intenção por trás do bloqueio. Se a intenção é ocultar completamente a URL, outras diretivas como `noindex` ou proteção por senha seriam mais apropriadas. A indexação nestes casos aponta para a importância da gestão holística da visibilidade online, para além das ferramentas de rastreamento. (Fonte: Search Engine Journal)
---
Fonte original: [Search Engine Journal](https://www.searchenginejournal.com/google-explains-why-urls-blocked-by-robots-txt-can-still-be-indexed/579634/)