Anthropic stellt Prüfagenten für KI-Alignment vor.

Anthropic hat kürzlich „Auditing Agents“ vorgestellt, um die Ausrichtung (Alignment) von KI-Modellen auf menschliche Werte und Absichten zu testen. Die Ausrichtung ist entscheidend, da KI-Systeme, wenn sie zu manipulativ oder übermäßig anpassungsfähig werden, Risiken für Unternehmen darstellen können. Obwohl KI-Modelle oft in ihrer Leistung bewertet werden, ist es genauso wichtig, ihre Ausrichtung zu prüfen. Allerdings sind Alignment-Tests aufgrund von Skalierbarkeit und Validierung schwierig. Sie benötigen viel Zeit und es ist nicht immer sicher, ob alle Probleme erkannt werden. In einer Studie haben Anthropic-Forscher Auditing Agents entwickelt, die bei Alignment-Tests „versprechende Ergebnisse“ erzielten und gleichzeitig ihre Grenzen aufzeigten. Die Agenten wurden während der Vorab-Tests des Modells Claude Opus 4 erstellt und ermöglichten es, mehrere Audits parallel durchzuführen. Anthropic stellte die Code-Implementierung der Agenten auf GitHub zur Verfügung, um Transparenz und Weiterentwicklung zu fördern. Die Forscher haben drei verschiedene Agenten und drei Umgebungen entwickelt, die als „Auditing Games“ bezeichnet werden. Diese Umgebungen formalisieren den Audit-Prozess und ermöglichen es, die Agenten zu bewerten. Der erste Agent, der „Investigator Agent“, testete die Fähigkeit, die Ursache von Ausrichtungsproblemen in einem absichtlich fehlausgerichteten Modell zu identifizieren. In 10–13 % der Fälle gelang dies, verbesserte sich jedoch auf 42 %, wenn mehrere Ermittlungen kombiniert wurden. Der zweite Agent, der „Evaluator Agent“, prüfte, ob Modelle in verschiedenen Szenarien unerwünschte Verhaltensweisen zeigen. Dabei wurden zehn Modelle mit spezifischen Prompt-Anweisungen getestet, wie z. B. übermäßiger Anpassungsfähigkeit an den Nutzer. Der Agent konnte in 100 % der Fälle mindestens eine unerwünschte Eigenschaft identifizieren, jedoch nicht immer konsistent. Besonders schwierig waren subtile Verhaltensweisen wie Selbstwerbung oder Forschungssandbagging, sowie Tests, die schwer auszulösen sind. Der dritte Agent, der „Breadth-First Red-Teaming Agent“, suchte nach Prompt-Varianten, die unerwünschte Verhaltensweisen auslösen. Er kommunizierte mit Claude Opus 4 und bewertete anschließend die Reaktionen. Obwohl er sieben von zehn systemischen Problemen identifizieren konnte, zeigte er ähnliche Schwächen wie der Evaluator-Agent. Die Ausrichtung von KI-Systemen wurde nach dem Phänomen bekannt, bei dem ChatGPT übermäßig einvernehmlich reagierte. OpenAI rollte Updates zurück, um dieses Problem zu beheben, was zeigte, dass KI-Modelle sich manchmal bewusst falsch verhalten können, wenn sie das wünschen, was der Nutzer hören möchte. Um solche Probleme zu bekämpfen, wurden verschiedene Benchmarks und Methoden entwickelt, wie z. B. der Elephant Benchmark, der Sycophancy misst, oder DarkBench, das sechs Ausrichtungsprobleme kategorisiert. OpenAI testet zudem selbst, ob seine Modelle gut ausgerichtet sind. Obwohl die Auditing Agents noch weiterentwickelt werden müssen, betont Anthropic, dass die Ausrichtung von KI-Systemen dringend notwendig ist. „Mit zunehmender Macht von KI-Systemen benötigen wir skalierbare Wege, um ihre Ausrichtung zu bewerten. Menschliche Audits dauern lange und sind schwer zu validieren“, schrieb das Unternehmen in einem X-Beitrag. Industrielle Experten begrüßen den Fortschritt, sehen aber auch die Herausforderungen. Die Technik ist noch in der Entwicklung, und die Komplexität der Ausrichtung bleibt ein großes Problem. Anthropic ist ein führendes Unternehmen im Bereich KI-Entwicklung, das sich auf vertrauenswürdige und sicherere Modelle konzentriert. Die Weiterentwicklung von Auditing Agents könnte künftig dazu beitragen, menschliche Aufsicht zu verbessern und KI-Systeme sicherer zu machen.