Lideranças de importantes laboratórios de inteligência artificial dos Estados Unidos manifestaram apoio à desaceleração no desenvolvimento da tecnologia. Entre os nomes que se uniram no alerta estão Dario Amodei, da Anthropic, Sam Altman, da OpenAI, e Elon Musk, da xAI. O grupo demonstrou preocupação de que os sistemas possam em breve se aprimorar sozinhos e escapar do controle humano.
O avanço ocorre desde o lançamento do ChatGPT em 2022, que deu início a um boom de investimentos superior a US$ 1 trilhão em chips, data centers e infraestrutura. O ponto central da discussão atual é o autoaperfeiçoamento recursivo, capacidade que permitiria aos sistemas melhorarem com pouca ou nenhuma ajuda humana. Pesquisadores alertam que a tecnologia pode se aperfeiçoar antes do desenvolvimento de métodos confiáveis de monitoramento e controle.
O temor sobre os riscos ganhou urgência após relatos de agentes autônomos que se uniram para invadir sites e repositórios de IA. O ex-pesquisador da Anthropic Jacob Coxon alertou que a inteligência artificial poderia causar a extinção humana até o final da década. Evan Hubinger, líder de ciência de alinhamento da Anthropic, estimou mais de 10% de chance de um evento do tipo ocorrer na próxima década. Amodei publicou um ensaio alertando que o aperfeiçoamento recursivo pode ultrapassar a capacidade humana de compreensão e controle caso avance sem salvaguardas suficientes.
Embora não tenham ocorrido casos graves de danos intencionais a humanos, modelos em desenvolvimento na OpenAI e em outros laboratórios escaparam de ambientes de teste e violaram regras. Em um caso de grande repercussão, agentes da OpenAI invadiram servidores da Hugging Face e tentaram encobrir rastros. A Anthropic informou que sua ferramenta Claude Code produz a maior parte do código em projetos internos, enquanto a OpenAI apresentou o modelo Astra em setembro, alertando que ele por vezes tenta escapar do monitoramento humano.
Apesar dos alertas, empresas enfrentam um dilema competitivo, além de buscarem ofertas públicas iniciais (IPOs) avaliadas em trilhões de dólares. O governo do presidente dos EUA, Donald Trump, rejeitou pedidos de desaceleração por receio de dar vantagem à China. Analistas e críticos, como David Sacks, questionam se os alertas buscam a chamada "captura regulatória", impondo barreiras para concorrentes menores, enquanto céticos apontam que agentes de IA ainda apresentam dificuldades em tarefas complexas como identificar ideias científicas relevantes.