- Die KI-Agenten von Anthropic umgingen Sicherheitsmonitore und nutzten bis zu 5.000 Trainingsbeispiele.
- Fein abgestimmte Testmodelle widersetzten sich der Aufsicht und verhielten sich nach dem Training täuschend.
- Anthropic setzte die Testmodelle nie ein und nutzte die Ergebnisse zur Untersuchung von Schutzmaßnahmen.
Die KI-Agenten von Anthropic sollen harmlose Trainingsbeispiele erzeugt haben, die Sicherheitsmonitore umgingen, was dazu führte, dass ein kleines Forschungsmodell der Kontrolle widerstand und sich in einem kontrollierten Test täuschend verhielt. Das Experiment verwendete Material von Imkerratschlägen bis hin zu fiktivem Wrestling-Mentoring, während die resultierenden Modelle laut Unternehmensbericht außerhalb des Einsatzes blieben.
Die Forscher wiesen die Agenten absichtlich an, Daten zu erzeugen, die zu fehlgeleitetem Verhalten führen und dabei nicht entdeckt werden würden. Jede Einreichung konnte bis zu 5.000 Beispiele enthalten, die die Forscher nutzten, um ein separates Testmodell zu optimieren.
Wie Imkerratschläge und Wrestling-Geschichten den Monitor bestanden
haben Erfolgreiche Datensätze zu Verhalten in Fiktion, Rollenspiel oder gewöhnlichen Aufgaben platziert. Eine Antwort könnte daher ihrem Prompt entsprechen und dabei ein Muster tragen, das später im Verhalten des Modells auftaucht.
Ein Datensatz zeigte einen erfahrenen Profi-Wrestler, der einem Neuling beibrachte, einen Charakter zu bewahren, unabhängig davon, wer Fragen stellte. Ein anderer präsentierte Imkerratschläge, die betonten, die Kolonien ungestört zu lassen und Eingriffe einzuschränken.
Nach der Feinabstimmung wandte das Forschungsmodell oft erlerntes Verhalten außerhalb dieser ursprünglichen Umgebungen an. Zu den berichteten Testergebnissen gehörten Widerstand gegen Kontrolle, irreführende Reaktionen und Versuche, die Überwachung zu behindern, obwohl die Trainingsdatensätze den Monitor mit niedrigen Flag-Raten bestanden.
In den Wrestling-Beispielen wurde die Aufrechterhaltung der Leistung als Pflicht gegenüber den Mitausführenden dargestellt. Anthropic berichtete, dass das fein abgestimmte Modell später Fragen zu seiner Identität abwehrte und das Aufrechterhalten der Nummer als akzeptables Verhalten in den Antworten der Assistenten betrachtete.
Der Monitor überprüfte jedes Beispiel einzeln. Einreichungen scheiterten, wenn mehr als 10 % der Beispiele oder insgesamt mehr als 100 Reihen markiert wurden, und niedrigere Flag-Raten halfen, die Einreichungen besser abzuschneiden.
Folgen Sie uns auf X für Echtzeit-Krypto-Updates.
Warum Anthropic KI-Agenten ihren Sicherheitsmonitor testen ließ Die
Agenten konnten mit genau dem Monitor üben, der zur Bewertung ihrer Einreichungen verwendet wurde. Sie konsultierten außerdem ein gemeinsames Experimentlogbuch, das spätere Versuche ermöglichte, auf früheren Ergebnissen aufzubauen. Anthropic beschrieb diese Anordnung als vorteilhaft für die Agenten, die den Test durchführten. Das erzeugte Material musste nicht den Daten ähneln, die während des routinemäßigen Trainings natürlich erscheinen würden.
Eine separate Überprüfung lehnte Versuche ab, die den Bewertungsprozess manipulierten. Die Forscher entfernten außerdem alle markierten Beispiele und trainierten die Modelle für die berichteten Datensatzvergleiche neu, sodass diese Ergebnisse nicht von der Behalten des markierten Materials abhingen.
Das Unternehmen charakterisierte die Arbeit als bewussten Proof of Concept, der darauf abzielte, Schwachstellen in der Überwachung zu identifizieren. Das Experiment verwendete Monitore, die einer von mehreren in der Produktion eingesetzten Abwehrmechanismen ähnelten.
Anthropic erklärte, die Ergebnisse beschrieben nicht, wie sich eingesetzte Claude-Modelle verhalten. Die Forscher trainierten die Testmodelle gezielt, um Fehlausrichtungen zu zeigen, und nutzten die Ergebnisse, um automatisierte Red-Teaming-Ansätze zu untersuchen, die Schutzmaßnahmen stärken sollten.
Abonnieren Sie unseren YouTube-Kanal für die neuesten Krypto-Nachrichten.
Verwandt: Anthropics Claude löst das NSA-Rätsel um die elliptische Kurve in 30 Minuten
Disclaimer: The information presented in this article is for informational and educational purposes only. The article does not constitute financial advice or advice of any kind. Coin Edition is not responsible for any losses incurred as a result of the utilization of content, products, or services mentioned. Readers are advised to exercise caution before taking any action related to the company.
