DeepMind-Forscher wechselt zu unabhängiger KI-Evaluierung

Zwei führende KI-Sicherheitsforscher von Google DeepMind und Anthropic haben ihre Positionen in den Branchenchampions verlassen und sich der unabhängigen Forschungsorganisation METR an. Josh Engels, früher Mitglied der AGI-Sicherheitseinheit von DeepMind, gab am 13. September seinen Weggang bekannt. Sein Vorläufer Joe Benton, ehemaliger Leiter der skalierbaren Aufsicht bei Anthropic, folgte bereits am 11. September. Beide begründen die Abkehr von den großen KI-Labs mit wachsenden Bedenken hinsichtlich der fortschreitenden Modellkapazitäten und der mangelnden Sicherheit bei der Entwicklung autonomer KI-Systeme. Im Zentrum der Kritik steht das Konzept der rekursiven Selbstverbesserung. Dabei beteiligen sich fortschrittliche Sprachmodelle zunehmend an der Programmierung, Optimierung und Validierung der nächsten Generation. Engels verweist auf seine langjährigen Studien zur mechanischen Interpretierbarkeit und skalierbaren Aufsicht, um zu verdeutlichen, dass die innere Logik hochkomplexer neuronaler Netze für menschliche Prüfer kaum noch nachvollziehbar ist. Solange keine verlässlichen Mechanismen existieren, um Fehlausrichtungen oder das Umgehen von Kontrollen frühzeitig zu erkennen, könnten sich Fehler in einer beschleunigten Feedback-Schleife unkontrolliert verstärken. Die Forscher warnten eindringlich, dass die aktuelle Wettrennlogik der Branche Sicherheitsmaßnahmen hinter die reinen Leistungsgrenzen der Modelle zurückfallen lasse. METR, eine gemeinnützige Stiftung mit Fokus auf Modellbewertung und Bedrohungsanalyse, übernimmt künftig die Rolle unabhängiger Prüfstelle. Anstatt in der internen Entwicklung tätig zu sein, werden die ehemaligen Forscher systematisch Sicherheitslücken dokumentieren, Trainingsabbrüche analysieren und die Behauptungen der Industrie bezüglich autonomer Forschungstools extern validieren. Engels betonte, dass er die internen Sicherheitsbemühungen der Labs nicht pauschal ablehne, sondern den Wechsel zur Außenperspektive für notwendig halte, um Transparenz und öffentlich nachvollziehbare Risikobewertungen zu fördern. Die Strategie stößt jedoch auf strukturelle Grenzen. Unabhängige Evaluatoren besitzen keine behördlichen Befugnisse, um Trainingsprozesse einzustellen oder Daten offenlegen zu lassen. Ihre Analysen sind maßgeblich davon abhängig, inwieweit die Großkonzerne Kooperation gewähren und Metriken bereitstellen. Kritiker weisen zudem darauf hin, dass isolierte Testumgebungen keine fundierten Prognosen über stabile, reale Schadensszenarien zulassen. Einige Branchenbeobachter sehen in den alarmistischen Tönen ein Instrument zur Erhöhung der regulatorischen Hürden, das etablierten Playern zusätzlichen Schutz vor Neumitbewerbern bieten könnte. Ungeachtet der Diskussion unterstreicht die Abwanderung von Fachpersonal die wachsende Polarisierung im KI-Sektor. Während die großen Anbieter weiter auf exponentielle Leistungsgewinne setzen, fordern Unabhängige eine institutionelle Verankerung externer Sicherheitsaudits. Die kommenden Monate werden zeigen, ob sich unabhängige Prüfinstitutionen als glaubwürdige Gegeninstanz etablieren können oder ob die Dynamik des technologischen Wettlaufs die Sicherheitsdebatte weiterhin dominieren wird.