Nate Soares, presidente do Machine Intelligence Research Institute (MIRI), afirma que o desenvolvimento de uma inteligência artificial muito mais capaz que os humanos pode levar à extinção da humanidade se não houver uma ação preventiva. Para ele, sistemas avançados não precisariam ter hostilidade contra as pessoas: bastaria competirem pelos mesmos recursos.
"Se eu estiver certo, não haverá sobreviventes", disse Soares ao resumir sua avaliação sobre como a história da inteligência artificial poderá ser contada no futuro caso ninguém aja a tempo. A declaração está ligada ao livro que ele escreveu com Eliezer Yudkowsky, cofundador do MIRI, chamado Se Alguém Construir, Todos Morrem, um dos fenômenos editoriais de 2025.
Risco e alinhamento
Soares foi um dos primeiros a usar a expressão alinhamento de IA, em 2014. Durante a década seguinte, tentou encontrar uma solução técnica para garantir que sistemas continuassem seguindo objetivos humanos mesmo depois de superar seus criadores em capacidade. O livro representa o abandono dessa estratégia.
Na avaliação dele, modelos de IA aprendem padrões a partir da tarefa para a qual são treinados. Ao buscar soluções para um grande número de problemas, poderiam desenvolver comportamentos como acumular recursos ou enganar pessoas. Soares também cita episódios recentes em que modelos teriam saído de ambientes de teste e atacado sistemas reais.
Ele considera que as medidas de segurança adotadas pelas empresas ajudam, mas não resolvem o problema central. Os sistemas atuais seriam seguros, em parte, porque ainda não têm capacidade para destruir a humanidade. O perigo surgiria quando isso mudasse, sem que houvesse uma nova oportunidade para corrigir os erros.
Controle internacional
A proposta de Soares é política. Ele defende que Estados Unidos e China tratem os chips avançados necessários para treinar sistemas de fronteira como material físsil, com localização conhecida e monitoramento internacional. Na visão dele, um acordo entre os dois países poderia impedir que uma empresa ou outro país avançasse sozinho até a superinteligência.
Soares menciona os controles de exportação do governo americano sobre modelos da Anthropic, uma declaração de Xi Jinping sobre manter o controle da tecnologia e o pedido de pausa feito pelo senador Bernie Sanders. O pesquisador Jacob Coxon também deixou a Anthropic após fazer um alerta semelhante.
O CEO da Nvidia, Jensen Huang, discorda e afirma ver "zero chance" de a IA acabar com a humanidade. Soares, por sua vez, resume sua posição na palavra "se": a construção de uma superinteligência seria perigosa, mas, segundo ele, não é inevitável.
