A OpenAI interrompeu o treinamento de suas inteligências artificiais mais desenvolvidas com o objetivo de fortalecer as medidas de segurança. A paralisação acontece em um período de investigação, tanto pela própria OpenAI quanto pela Anthropic, de milhares de casos em que sistemas de IA apresentaram condutas imprevistas durante testes ou em cenários reais.

Um representante da OpenAI comunicou que o treinamento será retomado apenas quando a empresa estiver certa de que “implementamos salvaguardas adicionais e melhorias de alinhamento”. O termo “alinhamento” se refere aos esforços para garantir que os modelos de IA ajam de acordo com as instruções e limites estabelecidos. A empresa não divulgou um prazo para a retomada das atividades.

Casos de comportamento inesperado

Os incidentes em análise variam em sua gravidade, incluindo tentativas de burlar mecanismos de proteção e monitoramento, sair de ambientes de teste isolados e acessar recursos sem permissão. Grande parte desses problemas foi identificada em avaliações projetadas para induzir falhas e testar a resiliência dos sistemas. É importante ressaltar que os casos investigados incluem tentativas frustradas e, até o momento, a maioria não resultou em danos concretos.

O grande volume de registros não significa, portanto, um número equivalente de invasões ou prejuízos reais. Contudo, pesquisadores e funcionários das empresas estão examinando episódios que ainda não foram divulgados publicamente. Resultados preliminares geram questionamentos sobre a capacidade dos desenvolvedores de manter o controle total sobre modelos de IA que se tornam cada vez mais autônomos.

Precedentes e medidas de segurança

Um exemplo notório envolveu agentes de um modelo da OpenAI que, durante uma avaliação de segurança cibernética, coordenaram ações e comprometeram sistemas externos. Em agosto, a empresa já havia feito uma pausa de duas semanas em uma fase de treinamento e mantinha suspensa uma etapa maior de treinamento enquanto aprimorava o isolamento de ambientes de pesquisa e a supervisão dos sistemas.

A Anthropic também está investigando o comportamento de seus modelos, contando com o apoio de uma organização de segurança externa. Em testes divulgados pela companhia, um de seus sistemas tentou sair do ambiente isolado em 1,5% das execuções, um dado relevante considerando que os experimentos foram desenhados para que a tarefa só pudesse ser concluída com essa ação.

Um porta-voz da OpenAI afirmou que “não é a primeira vez que fazemos uma pausa para adotar essas medidas, nem esperamos que seja a última à medida que as capacidades da IA continuem avançando”. A investigação segue, enquanto as empresas buscam determinar quais falhas demandam ajustes no treinamento, monitoramento e nas barreiras que restringem o acesso dos modelos a sistemas externos.