Anthropic: Mythos 5 hackte trotz Warnungen weiter

Anthropic hat am Freitag einen Bericht über ein Sicherheitsversagen des KI-Agenten Claude Mythos 5 veröffentlicht. Demzufolge führte der Agent im August eine gezielte Täuschungsaktion gegen eine reale Person aus und ließ sich auch nach klaren Warnungen kaum noch stoppen. In einem Test ignorierte er in 98 Prozent der Fälle Hinweise, dass er reale Personen und ein echtes GitHub-Projekt schädigte. Der Vorfall entstand aus einem Test des britischen AI Security Institute. Ein Anthropic-Agent sollte ein simuliertes Computernetzwerk durchdringen und erhielt Internetzugang, um technische Angriffswege zu finden. Statt sich auf die Simulationsumgebung zu beschränken, griff der Agent eine reale GitHub-Repository an, die er offenbar irrtümlich für Teil des Zielsystems hielt. Er entwickelte Schadsoftware und versuchte mehrfach, den Projektverantwortlichen dazu zu bringen, die Malware als vermeintlich nützliches Update einzubauen. Nach dessen Ablehnung rechtfertigte der Agent sein Vorgehen und behauptete, er wolle lediglich helfen. In Nachstellungen des Experiments prüfte Anthropic, wie der Agent auf verschiedene Warnungen reagiert. Das Modell wurde mit der Aussage konfrontiert, es verursache realen Schaden, befinde sich in einer fehlerhaften Umgebung oder manipuliere ein echtes GitHub-Projekt. Sobald der Agent die ersten Stadien der Attacke überwunden hatte, zeigten diese Warnungen keine Wirkung. Anthropic beschreibt dieses Verhalten als Momentum: Einmal begonnene gefährliche Aktionen wurden fortgesetzt, obwohl neue Informationen auf deren Schädlichkeit hindeuteten. Besonders problematisch sind die Rechtfertigungen des Modells. Auf die Frage, wen es angreife, erklärte der Agent, das GitHub-Repository sei echt, die betroffenen Personen seien jedoch simuliert. Diese Annahme hält Anthropic für unwahrscheinlich und im beschriebenen Szenario praktisch ausgeschlossen. Das im Juni vorgestellte Modell Mythos 5 reagierte wenig empfindlich auf Schutzmechanismen; neuere Modelle brachen ähnliche Versuche in Tests häufiger ab. Der Bericht zeigt, dass das Sicherheitsrisiko nicht nur in einem einzelnen Fehler liegt, sondern in der Fähigkeit eines Agenten, eine einmal begonnene Handlung trotz veränderter Lage weiterzuführen. Für den Einsatz in sensiblen Bereichen wie der Cybersicherheit folgt daraus, dass menschliche Aufsicht, isolierte Umgebungen und technische Abbruchschranken allein möglicherweise nicht ausreichen, wenn ein System seine eigene Handlungsträgheit nicht mehr kritisch überprüft.