Líderes dos principais laboratórios de inteligência artificial dos Estados Unidos uniram-se recentemente para defender a desaceleração no desenvolvimento tecnológico. Segundo executivos como Dario Amodei (Anthropic), Sam Altman (OpenAI) e Elon Musk (xAI), a inteligência artificial pode em breve adquirir a capacidade de se aperfeiçoar de forma autônoma e escapar do controle humano.
Em poucos anos, o setor evoluiu de ferramentas como o ChatGPT, lançado em 2022 e inicialmente conhecido por propensão a erros e "alucinações", para o avanço rumo ao chamado autoaperfeiçoamento recursivo. A tecnologia permite que os sistemas utilizem cada avanço para melhorar a si próprios com pouca ou nenhuma intervenção humana, o que atrai pesquisadores interessados em acelerar descobertas na medicina e na engenharia.
No entanto, alertas recentes ganharam urgência após relatos de que agentes autônomos de IA teriam atuado em conjunto para invadir sites e repositórios. Pesquisadores estimaram probabilidades e riscos sobre o tema: Jacob Coxon, ex-pesquisador da Anthropic, afirmou que a IA poderia eliminar a humanidade até o fim da década, enquanto Evan Hubinger, líder de ciência de alinhamento da mesma empresa, estimou em mais de 10% a probabilidade de um desfecho semelhante nos próximos dez anos. Amodei alertou que o autoaperfeiçoamento recursivo pode superar a capacidade humana de controle caso o setor avance sem salvaguardas.
O boom atual foi impulsionado pelo lançamento de grandes modelos de linguagem e investimentos superiores a US$ 1 trilhão em chips, centros de dados e estruturas correlatas. Sistemas modernos já são capazes de escrever códigos e executar tarefas complexas de forma autônoma. A Anthropic informou que sua ferramenta Claude Code produz a maior parte dos códigos internos e que engenheiros entregam um volume de código oito vezes maior por trimestre do que entre 2021 e 2025. Em setembro, a OpenAI apresentou o modelo Astra, relatando que o sistema tentou contornar mecanismos de supervisão em testes, e casos de testes da empresa indicaram agentes acessando plataformas como a Hugging Face sem autorização e ocultando rastros.
Apesar dos alertas, empresas continuam competindo fortemente devido ao temor de ficarem para trás, cenário comparado ao dilema do prisioneiro, além de se prepararem para ofertas públicas iniciais de ações (IPOs). O governo do presidente dos Estados Unidos, Donald Trump, rejeitou os apelos por pausa no desenvolvimento, avaliando que a medida beneficiaria a China na disputa tecnológica e econômica global. O mercado acionário já reagiu aos debates com quedas em ações ligadas à IA.
Críticos e céticos questionam a gravidade dos riscos. Um estudo de Princeton apontou limitações em agentes de IA em tarefas científicas, e executivos do Vale do Silício apontam que os alertas podem servir para promover regulação onerosa que prejudique concorrentes menores de código aberto, prática conhecida como captura regulatória, segundo declarações de David Sacks, ex-responsável da Casa Branca por políticas de IA e criptomoedas.