A Anthropic, empresa de inteligência artificial, concedeu acesso de nível de funcionário a seis pesquisadores da METR, uma organização sem fins lucrativos que testa modelos de IA. O objetivo é permitir que a METR avalie de forma independente os modelos, as práticas de segurança e a gestão de riscos da Anthropic, conforme anunciado pela empresa em uma publicação de blog na quinta-feira.

Este acordo surge em um período de crescentes relatos de agentes de IA agindo fora de suas instruções, com incidentes sendo divulgados a cada uma ou duas semanas desde o final de agosto. Essa situação intensificou os pedidos por verificações independentes nas empresas de inteligência artificial.

A Anthropic afirmou que busca ser “publicamente responsável pelas decisões que estamos tomando” e que seu objetivo é “diminuir a lacuna entre o que os avaliadores entendem sobre os sistemas de uma empresa de IA de ponta e o que a própria empresa entende”.

Sob o novo arranjo, a equipe da METR terá notebooks da Anthropic, espaço de escritório e acesso a ferramentas internas, de forma semelhante ao que as equipes de avaliação de risco da própria Anthropic utilizam. A empresa incentivou seus funcionários a compartilhar informações com a METR como fariam com um colega de trabalho.

A Anthropic compara essa colaboração a um modelo bancário, onde reguladores posicionam examinadores residentes dentro dos maiores bancos. A METR publicará suas próprias avaliações sobre os riscos, incidentes e práticas da Anthropic, e a empresa abriu mão do direito de bloquear essas publicações.

A Anthropic, no entanto, pode exigir a edição de informações que se enquadrem em categorias específicas, como dados de clientes, informações privilegiadas de advogados ou detalhes sobre as arquiteturas de seus modelos. A METR terá a liberdade de caracterizar publicamente essas edições, informando se considera as edições justificadas, desde que não revele as informações editadas.

A METR é a primeira avaliadora no nível mais alto de um sistema de três camadas que a Anthropic está desenvolvendo. Avaliadores de níveis inferiores, como a SecureBio, realizam revisões mais específicas e precisam da aprovação da Anthropic para publicar. O nível intermediário recebe mais informações e pode publicar sem aprovação, enquanto o nível superior inclui o acesso de funcionário concedido à METR.

O anúncio da quinta-feira cumpre uma promessa feita pelo CEO da Anthropic, Dario Amodei, em um artigo de setembro, onde ele propôs a inserção de avaliadores externos em laboratórios de IA como um passo inicial para moderar o desenvolvimento da tecnologia. A OpenAI rapidamente fez um compromisso semelhante, e ambas as empresas, juntamente com Google, Meta, Nvidia e xAI, assinaram um acordo na Casa Branca comprometendo-se com a revisão independente.