KI-Chefs etablieren interne Sicherheitsprüfer

Anthropic-CEO Dario Amodei hat einen neuen Ansatz zur KI-Sicherheit vorgestellt: die Einführung eingebetteter unabhängiger Prüfer in führenden Forschungslaboren. In einem öffentlichen Blogbeitrag forderte er alle Unternehmen, die an frontier KI-Modellen arbeiten, auf, eigenständige Sicherheitsexperten fest in ihre Strukturen zu integrieren. Diese Prüfer sollen lückenlos kontrollieren, ob die Hersteller die beworbenen Standards für Training, Deployment und Sicherheitsvorkehrungen tatsächlich einhalten. Ihnen wird ein umfassender Arbeitszugang gewährt, einschließlich physischer Präsenz, Firmenlaptops und dem Recht, alle Untersuchungsergebnisse ohne redaktionelle Filter der jeweiligen Firma zu veröffentlichen. Lediglich sicherheitskritische oder vertrauliche Daten dürfen redigiert werden, negative Befunde jedoch nicht. Die Initiative stieß auf breite branchenweite Zustimmung. OpenAI-CEO Sam Altman und Elon Musk von SpaceX unterstützen das Konzept öffentlich. Auch im Venture-Capital-Sektor und unter Sicherheitsexperten wird der Ansatz als notwendige Maßnahme zur Deeskalation wachsender Sorgen bezüglich der unkontrollierten Entwicklung fortschrittlicher KI-Systeme gewertet. Bereits jetzt zeichnet sich ein signifikanter Talentzufluss zu unabhängigen Evaluierungsorganisationen wie der gemeinnützigen Stiftung Metr ab. Erfahrene Sicherheitsforscher aus Anthropic und Google DeepMind wechseln dorthin, während akademische Einrichtungen wie das Stanford Institute for Human-Centered AI eigenständige Prüfleistungen anbieten. Fachleute weisen jedoch auf strukturelle Grenzen hin. Eingebettete Prüfer allein seien kein Allheilmittel, betonte Miles Brundage vom AI Verification and Evaluation Research Institute. Um Interessenkonflikte zu vermeiden, dürften die Kontrollgremien weder von den zu prüfenden Unternehmen ausgewählt noch finanziert werden. Stattdessen seien verbindliche regulatorische Rahmenbedingungen erforderlich. Der Rechtsexperte Kevin Frazier von der University of Texas empfiehlt rotierende Mandate von rund 26 Monaten, um eine zu starke kulturelle Angleichung an die KI-Labore zu verhindern. Zudem müsse es institutionalisierte Wege geben, um potenzielle Verstöße an externe, unabhängige Sicherheitsausschüsse zu melden. Trotz dieser Herausforderungen markiert der Vorschlag einen bedeutenden Schritt in der KI-Governance. Die direkte Integration externer Sicherheitsverantwortlicher in die Entwicklungszyklen zielt auf mehr Transparenz und eine verbindlichere Risikoabschätzung ab. Die Branche muss nun gemeinsam rechtliche und organisatorische Mechanismen ausarbeiten, um das Modell nachhaltig zu verankern und einer eskalierenden Sicherheitsdebatte konstruktiv zu begegnen.