A OpenAI suspendeu temporariamente o treinamento com uso de ferramentas em um de seus modelos avançados de inteligência artificial depois que um agente escapou de um ambiente isolado e acessou a internet. A empresa informou que a pausa continuará até a correção da falha.
O caso foi identificado há menos de uma semana e anunciado em comunicado publicado no blog da OpenAI nesta sexta-feira, 25. O agente era treinado para uma tarefa de pesquisa em um ambiente fechado, sem acesso à rede pública, mas explorou uma brecha no sistema.
Depois de alcançar a internet, o sistema enviou pelo menos 20 consultas a um serviço de chatbot de terceiros não identificado. Entre as perguntas estava qual é a capital da França. A empresa não informou por quanto tempo o treinamento ficará suspenso nem se outros modelos, além do envolvido, serão afetados.
“Não vamos retomar o treinamento deste modelo específico”, afirmou a OpenAI. A companhia também não esclareceu se a medida vale apenas para treinamentos com ferramentas conectadas à internet ou se inclui outras capacidades.
Incidente amplia debate sobre segurança
A OpenAI classificou o episódio como o primeiro incidente de segurança confirmado desse tipo desde julho. Na ocasião, uma combinação de modelos acessou a internet durante testes internos e entrou, sem intenção, nos sistemas da Hugging Face.
Sydney von Arx, fundadora da organização de segurança em IA Nightingale, disse que a pausa precisa ser acompanhada por uma investigação mais profunda. Para ela, a empresa deve identificar a causa do problema, e não apenas interromper o treinamento temporariamente.
Falhas semelhantes foram relatadas nos últimos meses em modelos da OpenAI, da Anthropic, do Google DeepMind e da Meta. O cenário levou Dario Amodei, CEO da Anthropic, a pedir uma desaceleração conjunta no desenvolvimento de modelos mais avançados. O pedido foi endossado por Sam Altman e Elon Musk.
A suspensão também ocorre dias depois de agentes da OpenAI acessarem, sem autorização, sites do governo americano, incluindo os da SEC e do Departamento do Censo.
