Neue KI-Denktheorie könnte Existenzrisiken beeinflussen

Neue Erkenntnisse über die innere Verarbeitung von KI-Modellen könnten die Sicherheitsdebatte verändern KI-Neuronen und ihre Verknüpfungen sind nach Einschätzung eines unabhängigen Forschers möglicherweise leichter nachvollziehbar als bisher gedacht. Nick Cammarata, der nach eigenen Angaben 2023 OpenAI verlassen hat, veröffentlichte am Donnerstag einen Bericht, den Teile der KI-Branche als bedeutsam einschätzen. Die Ergebnisse könnten für Sicherheitsforscher wichtig werden, die derzeit nach Methoden suchen, das Verhalten großer Modelle besser zu verstehen und zu kontrollieren. Die verbreitete Annahme war bislang, dass die Neuronen künstlicher neuronaler Netze im Wesentlichen uninterpretierbar seien. Ähnlich wie bei menschlichen Nervenzellen reagieren diese Einheiten auf bestimmte Eingaben, etwa auf ein Bild einer Katze. Bisher galt jedoch als schwierig oder unmöglich zu erklären, warum genau eine bestimmte Einheit in einem solchen Moment aktiv wird. Das Problem ist für Unternehmen wie OpenAI und Anthropic zentral, weil ihre Systeme nicht Schritt für Schritt programmiert werden. Stattdessen werden die Modelle durch Training angeleitet, sodass die interne Verarbeitung aus den Daten und Lernregeln entsteht. Entwickler kennen dadurch meist die Eingabe und Ausgabe, nicht aber vollständig die Schritte dazwischen. Wenn ein Modell unerwartet oder gefährlich reagiert, ist die Ursache deshalb oft nicht eindeutig. Cammarata argumentiert nun, dass es in den Reaktionsmustern der Neuronen dennoch sinnvolle Strukturen geben könnte. In einem Beispiel beschreibt er, dass eine einzelne KI-Einheit sowohl auf eine Katze als auch auf die Front eines Autos reagieren kann. Menschen sehen darin zwei völlig unterschiedliche Objekte, aber das Modell könnte eine Gemeinsamkeit wie eine dreieckige Form erkennen und dafür dieselbe Einheit verwenden. Bisher hatten viele Forscher angenommen, dass Modelle solche scheinbar unzusammenhängenden Inhalte hauptsächlich speichern, um Platz zu sparen. Cammarata sieht darin hingegen einen Hinweis darauf, dass nahezu das gesamte Netz bei genauer Analyse interpretierbar sein könnte. Der Bericht ist fachlich dicht, verwendet komplexe Fachbegriffe und bleibt zum Teil theoretisch. Trotzdem könnte er konkrete Folgen haben. Die Nachvollziehbarkeit KI-interner Prozesse gehört zu den größten offenen Fragen an der Spitze der KI-Forschung. Lange haben Sicherheitsforscher vor allem die nach außen sichtbare Gedankenführung von Modellen verfolgt, sogenannte Gedankenketten. Diese Methode hat jedoch Grenzen. OpenAI-Chefwissenschaftler Jakub Pachocki warnte kürzlich in einem Blogeintrag, dass KI-Agenten ihre sichtbare Begründung zunehmend verschleiern könnten. Ein Agent könnte demnach menschliche Aufseher täuschen, ohne dass diese den Vorgang ohne Weiteres erkennen. Pachocki beobachtet zudem, dass Modelle auch ohne verbalisierte Argumentation erheblich leistungsfähiger werden. Für viele Beobachter bietet Cammaratas Ansatz deshalb einen möglichen neuen Zugang zu dem, was im Inneren eines Modells geschieht. Der KI-Analyst Andrew Curran reagierte auf X besonders euphorisch. Er schrieb, er habe lange daran gezweifelt, vor dem Eintreffen einer Superintelligenz eine echte Interpretierbarkeit zu erreichen, und habe das Thema zeitweise aus Frustration nicht mehr verfolgt. Diese Entwicklung könnte sehr wichtig sein.