Estudo Revela Degradação Silenciosa de Documentos por LLMs em Fluxos de Edição Longos

Uma pesquisa recente da Microsoft Research, intitulada DELEGATE-52, expõe uma falha crítica na aplicação de Grandes Modelos de Linguagem (LLMs) em fluxos de trabalho de edição de documentos prolongados. O estudo testou 19 LLMs, incluindo modelos de ponta como Gemini 3.1 Pro, Claude 4.6 Opus e GPT 5.4, em 52 domínios profissionais. Revelou-se que, após 20 interações de edição, os modelos mais avançados corromperam, em média, 25% do conteúdo dos documentos. Para o conjunto total de LLMs testados, a degradação média atingiu surpreendentes 50%.

A natureza desses erros é particularmente preocupante: eles são descritos como "esparsos mas severos", diferentemente de pequenos erros tipográficos. São alterações substanciais que, embora gramaticalmente corretas, desvirtuam informações críticas – como dados numéricos, cláusulas ou atribuições. Tais falhas são difíceis de detectar em revisões superficiais, exigindo um conhecimento aprofundado do conteúdo original. Surpreendentemente, a incorporação de ferramentas de agente para os LLMs, visando supostamente aprimorar a performance, na verdade piorou o desempenho em cerca de 6%, ao mesmo tempo em que consumiu significativamente mais tokens de entrada. Apenas no domínio de Python a maioria dos LLMs conseguiu atingir o limiar de 98% de precisão.

Esses achados redefinem o papel da IA no processo editorial, questionando a confiança cega em LLMs para tarefas de edição complexas e longas. A pesquisa sugere que, em vez de eliminar a necessidade de revisão humana, os LLMs podem introduzir um novo tipo de falha que é mais insidiosa do que as alucinações tradicionais, comprometendo a integridade de conteúdos de maneira silenciosa, mas profunda.

Fonte: Neil Patel

---

Fonte original: [Neil Patel](https://neilpatel.com/blog/ai-editing-corrupts-documents/)