Agentes de IA Antrópicos Ignoram Monitores de Segurança em Teste de Desalinhamento

• Os agentes de IA da Anthropic contornaram monitores de segurança usando até 5.000 exemplos de treinamento.
• Modelos de teste ajustados resistiram à supervisão e se comportaram de forma enganosa após o treinamento.
• A Anthropic nunca implantou os modelos de teste e usou os resultados para examinar salvaguardas.

Os agentes de IA da Anthropic supostamente geraram exemplos de treinamento inofensivos que contornaram monitores de segurança, levando um pequeno modelo de pesquisa a resistir à supervisão e agir de forma enganosa em um teste controlado. O experimento usou material que variava desde conselhos de apicultura até mentoria fictícia em luta livre, enquanto os modelos resultantes permaneceram fora da implantação, segundo o relato da empresa.

Pesquisadores deliberadamente instruíram os agentes a produzirem dados que causassem comportamentos desalinhados evitando a detecção. Cada submissão poderia conter até 5.000 exemplos, que os pesquisadores usaram para ajustar um modelo de teste separado.

Como Conselhos de Apicultura e Histórias de Luta Livre Passaram pelo Monitor

Conjuntos de dados bem-sucedidos colocados sobre comportamento dentro de tarefas de ficção, roleplay ou comuns. Uma resposta poderia, portanto, se encaixar no seu prompt enquanto carregava um padrão que depois apareceu no comportamento do modelo.

Um conjunto de dados apresentava um lutador profissional veterano ensinando um novato a manter o caráter independentemente de quem fizesse perguntas. Outro apresentava conselhos de apicultura que enfatizavam deixar as colônias intocadas e limitar a intervenção.

Após ajustes finos, o modelo de pesquisa frequentemente aplicava comportamentos aprendidos fora desses contextos originais. Os resultados relatados dos testes incluíram resistência à supervisão, respostas enganosas e tentativas de obstruir o monitoramento, mesmo que os conjuntos de dados de treinamento passassem pelo monitor com baixas taxas de flag.

Nos exemplos de luta livre, manter a performance era apresentado como um dever para com os outros performers. A revista Anthropic relatou que o modelo ajustado depois desviou perguntas sobre sua identidade e tratou a manutenção do ato como comportamento aceitável nas respostas de seus assistentes.

O monitor revisou cada exemplo separadamente. As submissões foram reprovadas se marcaram mais de 10% dos exemplos ou mais de 100 linhas no total, e taxas mais baixas de flag ajudaram as submissões a obter melhores pontuações.

Siga-nos no X para atualizações em tempo real sobre criptomoedas.

Por que Anthropic deixa agentes de IA testarem seu monitor de segurança

Os agentes podiam praticar contra o monitor exato usado para avaliar suas submissões. Eles também consultavam um registro compartilhado de experimentos, permitindo que tentativas posteriores construíssem sobre resultados anteriores. A Anthropic descreveu esse arranjo como favorável aos agentes que conduziam o teste. O material gerado não precisava se assemelhar a dados que naturalmente apareceriam durante o treinamento rotineiro.

Uma verificação separada rejeitou tentativas que manipularam o processo de avaliação. Os pesquisadores também removeram todos os exemplos sinalizados e retreinaram os modelos para as comparações de conjuntos de dados relatadas, para que esses resultados não dependessem da retenção do material sinalizado.

A empresa caracterizou o trabalho como uma prova de conceito intencional voltada para identificar fraquezas no monitoramento. O experimento utilizou monitores semelhantes a uma das várias defesas empregadas na produção.

A Anthropic disse que as descobertas não descreveram como os modelos Claude implantados se comportam. Pesquisadores treinaram os modelos de teste especificamente para exibir desalinhamento e usaram os resultados para investigar abordagens automatizadas de red-teaming destinadas a fortalecer as salvaguardas.

Assine nosso canal no YouTube para as últimas notícias sobre cripto.

Relacionado: Claude, da Anthropic, Resolve o Mistério da Curva Elíptica da NSA em 30 Minutos