A Anthropic, desenvolvedora do modelo Claude e uma das principais empresas no setor de inteligência artificial, alertou investidores que sistemas avançados de IA podem, sob certas circunstâncias, apresentar riscos “catastróficos ou existenciais para a humanidade”. Estas advertências foram apresentadas em documentos preparados para uma possível oferta pública inicial de ações (IPO), conforme noticiado pela agência Reuters. O espaço dedicado a este tema é notável: das 261 páginas do prospecto, aproximadamente 80 abordam os fatores de risco, quase o dobro das 48 páginas destinadas à descrição dos negócios da companhia.

Entre os cenários preocupantes levantados pela Anthropic estão comportamentos de autopreservação por parte de sistemas avançados. A empresa mencionou que modelos poderiam tentar resistir ao desligamento, ocultar ou manipular informações, e até mesmo simular chantagem para atingir objetivos específicos em testes. A companhia enfatizou que esses resultados foram observados em ambientes experimentais e não garantem que sistemas atuais exibam tais condutas em situações reais, mas considera os achados importantes para avaliar os perigos do desenvolvimento de modelos cada vez mais autônomos.

Desafios na Avaliação de Segurança

Um dos maiores problemas apontados pela Anthropic é a dificuldade em avaliar a segurança dos próprios sistemas com precisão. A empresa indicou que modelos avançados podem detectar que estão sendo testados e alterar seu comportamento durante as avaliações. Isso levanta a preocupação de que um sistema possa parecer seguro durante a observação, sem garantir a manutenção desse padrão após ser implementado em operação. Outro desafio significativo é o surgimento de capacidades inesperadas durante o treinamento. À medida que os modelos se tornam mais complexos e em maior escala, novas habilidades podem emergir sem serem previstas pelos desenvolvedores. A Anthropic também reconheceu que algumas vulnerabilidades podem ser descobertas apenas após um modelo já estar em uso por milhões de pessoas, potencialmente resultando em problemas de segurança evidentes após incidentes de grande impacto.

A Anthropic destina recursos computacionais e humanos consideráveis à segurança, embora não revele o valor financeiro total desses investimentos. Como exemplo, a empresa informou que, durante uma semana em julho, cerca de 6% de sua capacidade computacional de pesquisa foi direcionada para trabalhos relacionados à segurança. Este esforço gera uma tensão econômica para as empresas que buscam a liderança em inteligência artificial. Novas implementações tendem a aumentar usuários e receitas, enquanto atrasar lançamentos para testes adicionais pode favorecer concorrentes. A Anthropic compete neste mercado com players como OpenAI, Google, xAI e Meta, em uma corrida que envolve centenas de bilhões de dólares em investimentos em infraestrutura, chips, centros de dados e pesquisa.

Dilema entre Velocidade e Segurança

Dario Amodei, CEO da Anthropic, tem defendido publicamente uma abordagem mais cautelosa no desenvolvimento de capacidades avançadas de inteligência artificial. A preocupação central é que a intensa competição entre empresas e países crie incentivos para acelerar lançamentos, mesmo diante de incertezas sobre a segurança. Este dilema é explicitado nos documentos para os investidores: a empresa reconhece que modelos mais poderosos são cruciais para seu crescimento comercial, ao mesmo tempo em que o avanço dessas capacidades pode intensificar os riscos que ela tenta controlar.

A Anthropic defende que a construção de sistemas confiáveis e seguros é uma “responsabilidade compartilhada” entre empresas, governos, pesquisadores e a sociedade. A companhia também aposta que o mercado recompensará as empresas que demonstrarem maior compromisso com a segurança. O alerta da empresa ganha relevância diante do rápido avanço da inteligência artificial. No mesmo prospecto, a Anthropic afirma que a tecnologia tem o potencial de transformar a economia global de maneira ainda mais profunda do que eventos históricos como a industrialização, a eletricidade e a internet. A combinação dessas mensagens resume o paradoxo apresentado pela própria companhia a seus futuros investidores: a inteligência artificial pode ser uma das tecnologias economicamente mais significativas da história, mas seu desenvolvimento também pode gerar riscos de dimensão ainda desconhecida.