A esmagadora maioria dos arquivos 'llms.txt' permanece intocada por crawlers de IA
Análise revela que 97% dos arquivos 'llms.txt' em 137 mil sites analisados não são acessados por crawlers de IA, levantando questões sobre efetividade.
Uma investigação recente do GEO Feater, baseada em dados extensivos da Ahrefs, aponta que a iniciativa de controle de acesso de inteligência artificial através do arquivo `llms.txt` tem tido um alcance limitado. A análise de logs de servidores e tráfego em tempo real em 137 mil domínios demonstrou que impressionantes 97% desses arquivos sequer são lidos por agentes de IA, o que pode indicar tanto uma baixa implementação quanto uma eficácia questionável na regulação do acesso.
Essa lacuna entre a intenção e a prática sublinha um desafio crescente no ecossistema digital: como os criadores de conteúdo podem gerenciar de forma eficaz a interação de suas páginas com os avançados sistemas de inteligência artificial. A descoberta sugere que, apesar das discussões regulatórias e das propostas de padronização, a grande maioria dos crawlers de IA pode ainda não estar aderindo ou sendo configurada para respeitar as diretrizes do `llms.txt`.
Os resultados dessa pesquisa lançam luz sobre a complexidade de controlar o consumo de dados por IAs e a necessidade de métodos mais robustos ou amplamente adotados, à medida que a presença da inteligência artificial na web continua a se expandir. O debate sobre a governança de dados e a ética no uso da IA ganha, assim, novas camadas de consideração.
Fonte original: Ahrefs Blog
---
Fonte original: [Ahrefs Blog](https://ahrefs.com/blog/llmstxt-study/)