Pesquisadores da Skoltech e do Centro de Inteligência Artificial Prática do Sberbank desenvolveram um método para identificar possíveis alucinações em sistemas baseados em grandes modelos de linguagem.
Batizada de TOHA, sigla para detector de alucinações baseado em topologia, a técnica verifica se uma resposta está sustentada pelas informações fornecidas ao modelo ou se inclui conteúdo inventado. A tecnologia já foi incorporada ao SIRIN, biblioteca de código aberto criada pelos pesquisadores do Sberbank e disponível publicamente.
O estudo foi apresentado em um artigo publicado nos Anais da 64ª Reunião Anual da Associação de Linguística Computacional. Os testes envolveram tarefas de perguntas e respostas e de resumo de textos. Segundo os autores, o TOHA teve desempenho semelhante ou superior ao de métodos existentes em diferentes benchmarks.
Como o método funciona
Os pesquisadores analisaram as matrizes de atenção dos modelos de linguagem. Esses mecanismos ajudam a inteligência artificial a estabelecer relações entre diferentes partes de um texto. As informações foram transformadas em gráficos para permitir a comparação entre o material original e a resposta produzida.
A partir dessa análise, a equipe calculou a medida MTop-Div, que aponta diferenças entre as estruturas dos dois conteúdos. Conforme o artigo, níveis mais altos de divergência aparecem de forma consistente em respostas sem respaldo no material fornecido.
A abordagem também pode ser usada em sistemas de geração aumentada por recuperação, conhecidos pela sigla RAG. Neles, o modelo recebe documentos ou bases de dados antes de elaborar uma resposta. Mesmo assim, ainda pode apresentar informações que não estão no material de referência.
Menor demanda de recursos
Diferentemente de técnicas que precisam de muitos exemplos ou da geração de várias versões de uma mesma resposta, o TOHA exige um conjunto menor de exemplos para ser treinado. Depois, esses dados podem ser usados na avaliação de novas respostas.
Os pesquisadores compararam o método ao SelfCheckGPT, que depende da produção de múltiplas respostas e exige mais recursos computacionais. De acordo com os autores, o TOHA obteve resultados comparáveis sem repetir esse processo.
A equipe avalia que a tecnologia pode ser aplicada por empresas em áreas nas quais erros de sistemas de inteligência artificial podem causar riscos financeiros ou de reputação, como os setores bancário, jurídico e de seguros.
