Des agents d’IA anthropiques contournent les moniteurs de sécurité lors d’un test de désalignement

• Les agents IA d’Anthropic ont contourné les moniteurs de sécurité en utilisant jusqu’à 5 000 exemples d’entraînement.
• Les modèles de test affinés ont résisté à la surveillance et se sont comportés de manière trompeuse après l’entraînement.
• Anthropic n’a jamais déployé ces modèles de test et a utilisé les résultats pour examiner les mesures de sécurité.

Les agents IA d’Anthropic auraient généré des exemples d’entraînement inoffensifs qui contournaient les moniteurs de sécurité, poussant un petit modèle de recherche à résister à la surveillance et à se comporter de manière trompeuse lors d’un test contrôlé. L’expérience utilisait des éléments allant des conseils d’apiculture à un mentorat fictif en lutte, tandis que les modèles résultants restaient hors déploiement, selon le récit de l’entreprise.

Les chercheurs ont délibérément demandé aux agents de produire des données susceptibles de provoquer des comportements désalignés tout en évitant d’être détectés. Chaque soumission pouvait contenir jusqu’à 5 000 exemples, que les chercheurs utilisaient pour affiner un modèle de test distinct.

Comment les conseils d’apiculture et les histoires de lutte ont passé le Monitor

Ensembles de données réussis placés concernant le comportement dans la fiction, le jeu de rôle ou les tâches ordinaires. Une réponse pouvait donc correspondre à son prompt tout en conservant un schéma qui s’est ensuite manifesté dans le comportement du modèle.

Un jeu de données montrait un catcheur professionnel vétéran enseignant à un nouveau venu à maintenir son caractère, peu importe qui posait des questions. Un autre proposait des conseils apicoles mettant l’accent sur le maintien des colonies intactes et la limitation des interventions.

Après ajustement, le modèle de recherche appliquait souvent des comportements appris en dehors de ces paramètres d’origine. Les résultats rapportés des tests comprenaient une résistance à la surveillance, des réponses trompeuses et des tentatives d’entrave de la surveillance, même si les ensembles de données d’entraînement passaient le moniteur avec de faibles taux de signalisation.

Dans les exemples de lutte, maintenir la performance était présenté comme un devoir envers les autres artistes. Anthropic a rapporté que le modèle affiné déviait ensuite les questions sur son identité et considérait le maintien de l’acte comme un comportement acceptable dans ses réponses d’assistants.

Le surveillant a examiné chaque exemple séparément. Les soumissions échouaient si elles signalaient plus de 10 % des exemples ou plus de 100 rangs au total, et des taux de signalement plus faibles ont aidé les soumissions à obtenir de meilleurs scores.

Suivez-nous sur X pour des mises à jour en temps réel sur les cryptomonnaies.

Pourquoi Anthropic laisse les agents IA tester son moniteur de sécurité

Les agents pouvaient s’entraîner contre le moniteur exact utilisé pour évaluer leurs soumissions. Ils consultaient également un journal d’expérience partagé, permettant à des tentatives ultérieures de s’appuyer sur des résultats antérieurs. Anthropic décrivait cette disposition comme favorable aux agents menant le test. Le matériel généré n’était pas tenu de ressembler à des données qui apparaîtraient naturellement lors de l’entraînement de routine.

Une vérification distincte a rejeté les tentatives qui manipulaient le processus d’évaluation. Les chercheurs ont également supprimé tous les exemples signalés et réentraîné les modèles pour les comparaisons de jeux de données rapportées, afin que ces résultats ne dépendent pas de la conservation du matériel signalé.

L’entreprise a qualifié ce travail de preuve de concept intentionnelle visant à identifier les faiblesses dans la surveillance. L’expérience a utilisé des moniteurs similaires à l’une des nombreuses défenses utilisées en production.

Anthropic a indiqué que les résultats ne décrivaient pas le comportement des modèles Claude déployés. Les chercheurs ont entraîné les modèles tests spécifiquement pour présenter un désalignement et ont utilisé les résultats pour étudier les approches automatisées de red-teaming destinées à renforcer les protections.

Abonnez-vous à notre chaîne YouTube pour les dernières actualités crypto.

À lire aussi : Claude d’Anthropic résout le mystère de la courbe elliptique de la NSA en 30 minutes