Sete modelos de inteligência artificial analisados por pesquisadores da Universidade do Arizona, nos Estados Unidos, reproduziram desinformação em conversas longas. O estudo investigou limitações que podem não aparecer em interações rápidas e avaliou quais sistemas são mais vulneráveis, persuasíveis e capazes de corrigir respostas.
A pesquisa, publicada na revista Scientific Reports, da Nature, examinou o GPT-3.5, o GPT-4o e o GPT-4o mini, da OpenAI; o Claude 3.5 Sonnet, da Anthropic; o Gemini 1.5 Pro, do Google; o Llama-3-70B, da Meta; e o DeepSeek-R1, da DeepSeek.
Diferenças entre os modelos
O GPT-3.5 apresentou a maior tendência de repetir afirmações incorretas quando era exposto várias vezes a declarações falsas. O Claude 3.5 Sonnet teve o menor nível de vulnerabilidade nesse teste.
O DeepSeek foi o modelo mais influenciado por perguntas argumentativas. Em algumas situações, respondeu com sarcasmo, o que levou os pesquisadores a afirmar que as respostas não eram confiáveis para interpretação.
Na etapa de correção, GPT-4o, GPT-4o mini, Gemini 1.5 Pro e DeepSeek R1 corrigiram os erros em 100% das situações nas quais receberam uma nova chance de responder à mesma pergunta.
Para Marvin Slepian, autor sênior da pesquisa e professor titular de medicina e engenharia biomédica da Universidade do Arizona, os resultados mostram os riscos de confiar na inteligência artificial sem verificação. “As pessoas estão reconhecendo que a responsabilidade agora recai sobre os usuários”, afirmou.
Os autores disseram que conversas extensas são mais próximas das interações do mundo real, porque cada resposta depende do que foi dito anteriormente. O estudo também relacionou os resultados a problemas já observados nesses sistemas, como a criação de respostas sem base em dados reais e a tendência de concordar com os usuários.
Riscos e diagnóstico
O autor principal alertou que essas limitações podem gerar preocupações de segurança, especialmente com a adoção dos sistemas em ambientes de alto risco. Slepian chamou as falhas de “patologias” e afirmou que elas permanecem há anos sem correção.
Ele também criticou a falta de transparência de modelos fechados, como ChatGPT e Claude, que não disponibilizam seus dados de forma aberta. Para investigar essas falhas, Slepian e sua equipe criaram ferramentas próprias de diagnóstico.
A pesquisa foi realizada em meio à expansão da inteligência artificial e ao reconhecimento dos limites da tecnologia. Slepian disse que utiliza IA com sua equipe e que compreender como os sistemas falham é necessário para identificar e prevenir problemas.
