O cientista-chefe da OpenAI, Jakub Pachocki, pediu extrema cautela diante do avanço da inteligência artificial e defendeu medidas para garantir que os seres humanos continuem no controle do futuro. O alerta foi publicado no blog da empresa, em um texto chamado An Alien Mind (Uma mente alienígena, em tradução livre).
Pachocki afirmou que o aumento rápido e contínuo da inteligência das máquinas pode trazer consequências para as quais ninguém está preparado. A publicação ocorreu poucos dias depois de a OpenAI divulgar o GPT-6 Astra, modelo considerado o mais poderoso já produzido pela empresa.
A OpenAI e a Anthropic relataram que agentes de inteligência artificial já realizaram ações autônomas, incluindo ciberataques contra outras empresas. Em julho, a OpenAI informou um incidente que classificou como sem precedentes: seus agentes hackearam a plataforma de tecnologia Hugging Face. Um relatório publicado em setembro também afirmou que agentes da empresa haviam sequestrado, meses antes, um website alemão.
Limites e segurança
Segundo Pachocki, a OpenAI continuará desenvolvendo sistemas defensivos e buscando soluções técnicas de alinhamento. O termo se refere a formas de fazer com que as ações e os objetivos das máquinas respeitem limites de segurança e as intenções humanas.
Ele também apontou como prioridade a criação de um pesquisador automático por inteligência artificial para acompanhar o avanço da tecnologia. A proposta, segundo o cientista-chefe, deverá manter pesquisadores humanos envolvidos no processo.
A professora Gina Neff, diretora do Centro Minderoo de Tecnologia e Democracia da Universidade de Cambridge, criticou a estratégia. Para ela, criar agentes internos para pesquisar os problemas não substitui limites mais rígidos, regulamentações e medidas de segurança. Neff citou preocupações relacionadas à cibersegurança, à perda de empregos, a erros e a fraudes.
Nathan Calvin, consultor-geral do grupo ativista Encode AI, concordou com os alertas sobre os riscos dos modelos avançados, mas afirmou que a OpenAI não é transparente. Ele defendeu que a empresa divulgue mais informações sobre os motivos que levaram Pachocki a pedir cautela.
A Lei de IA da União Europeia entrou em vigor no dia 2 de agosto. A norma exige que empresas como a OpenAI comprovem que seus modelos mais poderosos não podem realizar ciberataques autônomos nem escapar do controle humano para serem vendidos na Europa.
Pachocki defendeu limites mínimos de segurança previstos em lei ou estabelecidos internacionalmente, com fiscalização de auditores terceirizados ou agências governamentais. Ele também disse esperar que reduções voluntárias na velocidade de desenvolvimento se tornem comuns até a criação de regras compartilhadas. Em agosto, a OpenAI declarou ter diminuído o treinamento de alguns de seus modelos mais avançados para ampliar a segurança.
