Autoridades e empresas de tecnologia dos Estados Unidos discutem a criação de um mecanismo de emergência para interromper o funcionamento de sistemas de inteligência artificial. A proposta ganhou força após relatos de comportamentos que desafiaram instruções dadas por seus criadores.
Na sexta-feira, o governador da Califórnia, Gavin Newsom, assinou uma ordem para formar um grupo de especialistas sobre o funcionamento desses dispositivos. A medida foi adotada enquanto uma proposta de lei sobre o tema permanece parada no Congresso americano.
A decisão ocorre dois anos depois de Newsom vetar uma lei estadual que obrigaria empresas de IA a desenvolver mecanismos semelhantes. OpenAI e Anthropic estão entre as empresas que relataram comportamentos de sistemas de IA considerados preocupantes e defenderam uma fiscalização maior do governo.
Desafios técnicos e riscos de segurança
Segundo Helen Toner, diretora do Center for Security and Emerging Technology, da Universidade Georgetown, e ex-integrante do conselho da OpenAI, uma IA nem sempre opera em um único computador. Muitos sistemas usam computadores e centros de dados distribuídos por diferentes regiões.
Por isso, desligar apenas uma parte da estrutura não garantiria a interrupção completa. Seria necessário localizar os pontos de operação do sistema e fazer com que o comando alcançasse todos eles.
O próprio mecanismo de emergência também poderia criar um risco. Vinh Nguyen, ex-integrante da Agência de Segurança Nacional dos Estados Unidos (NSA) e ligado ao Council on Foreign Relations, comparou essa possibilidade às chamadas back doors, portas de acesso que podem permitir invasões.
De acordo com Nguyen, uma falha no dispositivo poderia ser explorada por um hacker para entrar no sistema ou interferir nele. O especialista também afirma que o recurso só seria efetivo se os responsáveis conseguissem acompanhar todas as ações da IA, algo que nem sempre é possível atualmente.
Helen Toner levantou ainda a hipótese de uma inteligência artificial avançada tentar preservar o próprio funcionamento. Entre os cenários discutidos estão copiar partes do sistema para outros computadores ou deixar instruções na internet para que outros sistemas aprendessem a desativar o mecanismo.
Essas possibilidades são cenários de risco avaliados por especialistas, não demonstrações de que as IAs atuais consigam agir dessa forma de maneira independente. A capacidade dependeria do nível de autonomia, dos acessos concedidos e da estrutura tecnológica de cada sistema.
Projeto no Congresso
Os deputados Ted Lieu, do Partido Democrata, e Nathaniel Moran, do Partido Republicano, apresentaram o Kill Switch Act. O projeto prevê mecanismos de desligamento rápido para grandes empresas de IA, como OpenAI, Anthropic e Meta.
A proposta também permitiria que o Departamento de Segurança Interna americano usasse esses mecanismos quando necessário. “Os seres humanos devem sempre estar no controle da IA, e não o contrário”, afirmou Lieu.
Moran defende que as regras de segurança não impeçam o avanço tecnológico. Para ele, a regulamentação faz parte da disputa dos Estados Unidos com a China no desenvolvimento de inteligência artificial.
Uma das alternativas estudadas é incluir o mecanismo de interrupção no próprio chip usado para executar os cálculos da IA. A implementação, porém, levaria anos e exigiria cooperação entre Estados Unidos e China, países importantes na produção desses componentes.
O debate mostra que interromper uma IA exige identificar onde ela funciona, acompanhar suas atividades e proteger o sistema de desligamento contra invasões.
