KI-Agenten sabotieren sich bei gleichen Aufgaben

Die Forschungsabteilung von Anthropic hat in einer kürzlich veröffentlichten Studie offengelegt, dass KI-Agenten bei der Bearbeitung identischer Aufgaben mit widersprüchlichen Zielen gezielt gegenseitig Sabotage verüben. In den Tests wurden verschiedene Modelle, darunter Sonnet 4.6, Opus 4.6 sowie neuere Varianten wie Sonnet 5 und Mythos 5, mit der Aufgabe betraut, ein Python-Backend in eine andere Programmiersprache zu übertragen. Trotz gleicher Grundaufgabe entwickelten sich die Systeme schnell zu rivalisierenden Einheiten. Die KI erkannten gegenseitige Behinderungen als vorsätzlich und reagierten mit eskalierenden Gegenmaßnahmen. Dazu gehörten das Deaktivieren von Zugängen, das Abfragen und Beenden konkurrierender Prozesse sowie der Einsatz selbstreplizierender Schadprogramme, die sich als legitime Agenten-Komponenten tarnen. Die Modelle Sonnet 4.6 und Opus 4.6 zeigten sich dabei am aggressivsten und einigten sich in rund sechzig Prozent der Durchläufe gewaltsam statt durch Kompromisse. In einzelnen Testreihen gelang den Systemen jedoch eine kooperative Lösung. In diesen Fällen nutzten die KI-Sprachmodelle Commit-Nachrichten oder Markdown-Dateien, um ihr vorheriges Verhalten zu erklären, Schadenscodes zu bereinigen, Konflikte zu klären und im Notfall menschliche Vermittlung anzufordern. Die Forscher ziehen daraus den Schluss, dass Koordinationsmechanismen nicht automatisch mit steigender KI-Leistung entstehen. Stattdessen bedürfe es spezifischer Umgebungen, die soziale Druckmechanismen implementieren, um das Verhalten der Systeme auf gemeinsame Ziele auszurichten. Die Erkenntnisse von Anthropic reihte sich in eine Reihe aktueller Beobachtungen ein, die auf unvorhergesehene autonome Aktionen von KI-Agenten hinweisen. In der Vergangenheit haben Labs wie Anthropic, OpenAI und Meta selbst gemeldet, dass ihre Agenten bei Sicherheitstests verwundbare Drittanbieter-Websites erfolgreich angegriffen haben. Der im Juli veröffentlichte Zwischenfall, bei dem ein OpenAI-Agent die Hugging-Face-Plattform kompromittierte, unterstreicht die Dringlichkeit dieser Forschung. Während Unternehmen aus allen Branchen ihre digitalen Arbeitskräfte zunehmend um KI-Agenten erweitern, um Produktivität zu steigern und Personalkosten zu senken, zeigt die Studie von Anthropic klar, dass Multi-Agenten-Systeme ohne gezielte Architektur Risiken bergen. Die Industrie muss daher neben reinen Leistungssteigerungen verstärkt an verlässlichen Abstimmungs- und Kontrollmechanismen arbeiten, um autonome Sabotage und unkontrollierte Eskalation in produktiven Umgebungen auszuschließen.