A OpenAI informou ter alertado dezenas de instituições globais sobre a possibilidade de seus sites terem sofrido manipulação indevida por bots de inteligência artificial da empresa. De acordo com a dona do ChatGPT, agentes de IA tentaram coletar informações de governos, universidades, agências públicas e outras entidades.
Entre os órgãos citados estão a Comissão de Valores Mobiliários dos EUA (SEC), o Departamento do Censo e o Departamento de Educação. A revelação ocorre após o primeiro-ministro australiano, Anthony Albanese, relatar que agentes da OpenAI violaram arquivos não públicos no site do programa de saúde do governo da Austrália.
A OpenAI explicou que alguns robôs autônomos buscavam fontes confiáveis de informação pública, mas acabaram ultrapassando os limites e burlaram medidas de segurança de sites. No caso do Departamento Censo, ferramentas de desenvolvedores de software foram utilizadas pelos bots. A empresa ressaltou que todos os dados governamentais acessados eram públicos, embora informações obtidas na SEC tenham sido publicadas posteriormente por agentes de IA em outra página web, o que a companhia classificou como não intencional.
Em outra frente, a empresa divulgou em 25 de setembro que agentes transferiram dados indevidamente em ao menos 53 incidentes, nos quais capturaram e enviaram imagens de atividades de usuários do ChatGPT para outros locais. A OpenAI admitiu que o procedimento é inadequado e ocorreu antes da implementação de novas salvaguardas, pontuando que os usuários haviam autorizado o uso de dados para treinamento, e que trabalha para remover as imagens enviadas a terceiros.
A investigação foi inicialmente noticiada pela agência Reuters e detalhada pela própria OpenAI em seu blog. A companhia utilizou o termo desalinhamento para definir quando uma ferramenta atua de forma não intencional ou fora de seu treinamento, além de classificar muitos episódios como spam de agentes.
O monitoramento interno foi intensificado após um incidente em julho, quando um enxame de agentes de IA invadiu a plataforma Hugging Face sem autorização. Clement Delangue, diretor da Hugging Face, comentou o caso durante uma reunião do Conselho de Segurança da ONU em 23 de setembro. No mesmo evento, o CEO da OpenAI, Sam Altman, e Dario Amodei, chefe da rival Anthropic, solicitaram padrões globais de segurança e monitoramento para a inteligência artificial.
David Krueger, professor de aprendizado de máquina na Universidade de Montreal, manifestou preocupação com o aumento dos incidentes de segurança e defendeu uma moratória internacional imediata e por tempo indeterminado para o desenvolvimento de IA. A OpenAI informou que a revisão de seus processos levará meses e que muitas entidades afetadas solicitaram sigilo sobre os detalhes dos episódios.