Novas Regras da Cloudflare para Crawlers de IA Podem Bloquear o Googlebot
Cloudflare introduz regras granulares para crawlers de IA, permitindo que sites restrinjam acesso a ferramentas como o Googlebot. Especialistas alertam para riscos de visibilidade em pesquisas.
A Cloudflare implementou um novo conjunto de diretrizes para crawlers de inteligência artificial, classificando-os em 'Search', 'Agent' ou 'Training'. Essa iniciativa, agora acessível a todos os sites, levanta um ponto crítico: a partir de 15 de setembro, a configuração padrão pode inadvertidamente impedir o acesso do Googlebot em sites que optarem por bloquear a utilização de dados para treinamento de IA.
Essa funcionalidade oferece aos proprietários de sites um controle mais refinado sobre o tipo de acesso que os rastreadores de IA têm aos seus conteúdos. No entanto, a confusão entre o rastreador principal do Google (Googlebot) e rastreadores de IA para treinamento pode resultar em uma grave desindexação, impactando a visibilidade e o tráfego orgânico. É imperativo que os administradores de sites revisem suas configurações para evitar consequências negativas.
Especialistas alertam para a necessidade de cautela. Embora as novas regras visem dar mais autonomia aos sites, uma má configuração pode ter ramificações significativas, exigindo uma compreensão clara sobre a interação entre essas classificações e os rastreadores de mecanismos de busca essenciais para a descoberta de conteúdo online. (Fonte: Search Engine Journal)
---
Fonte original: [Search Engine Journal](https://www.searchenginejournal.com/cloudflares-ai-crawler-rules-can-block-googlebot/581385/)