Ex-OpenAI-Forscher erklärt 90 % Neuronenfunktionen

Der frühere OpenAI-Forscher und heutige Goodfire-Forscher Nick Cammarata hat am 15. Oktober auf X und in dem Essay „Neural Networks Are Already Clean“ die These vertreten, dass die innere Struktur großer neuronaler Netze möglicherweise deutlich leichter zu verstehen ist als bisher angenommen. Cammarata, der mechanistische Interpretierbarkeit bei OpenAI mitgeprägt hat, revidiert damit eine eigene Einschätzung, die auf früheren Experimenten beruhte. Hintergrund ist die 2023 von OpenAI vorgestellte Arbeit, GPT-4 zur Erklärung von Neuronen im kleineren GPT-2 einzusetzen. Selbst mit großzügigen Kriterien galten damals nur etwa 1,7 Prozent der Neuronen als zuverlässig erklärbar. Viele Einheiten schienen mehrere zusammenhanglose Konzepte gleichzeitig zu verarbeiten. Diese Beobachtungen stützten die Superposition-Hypothese und trieben den Aufbau von Werkzeugen wie Sparse-Autoencodern voran. Cammarata argumentiert nun, dass frühere Schlussfolgerungen teils an Beobachtungs- und Bewertungsmethoden lagen. In einer vorläufigen Analyse von Qwen3-32B hätten etwa 90 Prozent der untersuchten Aktivierungsrichtungen eine klar dominierende Funktion; rund 7 Prozent hätten zwei eng verwandte Funktionen, nur 2 bis 4 Prozent blieben zunächst ungeklärt. Ähnliche Muster seien in weiteren, Billionen Parameter umfassenden Modellen wie Kimi erkennbar. Der Vergleich mit den früheren 1,7 Prozent sei wegen unterschiedlicher Architekturen, Werkzeuge und Funktionsdefinitionen nicht direkt übertragbar, stelle aber die Annahme verbreiteter unzusammenhängender Überlagerungen infrage. Ein bekannter Beispielfall unterstreicht die Neuinterpretation: Ein neuronales Muster in InceptionV1 reagierte auf Katzen- und Autogesichter. Cammarata ordnet es nicht zwei fremden Objekten zu, sondern einer gemeinsamen geometrischen Struktur – spitzen, nach außen geöffneten V-Formen. Auch Füchse, Flammen oder Wasserkaskaden könnten dieselbe Einheit aktivieren, während weiche Formen sie hemmen. Zudem hätten Visualisierungsartefakte und ältere Architekturteile manche Mehrdeutigkeit erzeugt; in ConvNeXt mit residualen Verbindungen seien fast 99 Prozent der letzten Schicht deutlich interpretierbar. Cammarata führt die Muster auf rekursive Generalisierung zurück: Bei begrenzter Kapazität bündeln Neuronen breitere Merkmale; bei mehr Kapazität spezialisieren sie sich. Er zeigt dies auch durch Starkkompression, in der aus spezialisierten Kurvenneuronen allgemeinere Muster wie Kreise entstehen. In Sprachmodellen können scheinbar disparate Reaktionen auf „iy“, „diy“ oder „do it yourself“ über eine gemeinsame Zeichen-, Wort- und Bedeutungsebene verbunden sein. Ein methodischer Kern der Arbeit liegt im Einsatz autonomer KI-Agenten. Sie betrachten Aktivierungsdaten, entwickeln Hypothesen, prüfen Schaltkreise und entwerfen Gegentests. In einem Blindverfahren schrieb ein Agent eine Erklärung, ein zweiter Agent erzeugte daraus unbekannte Testeingaben; deren Aktivierung war teils stärker als aus riesigen echten Datensätzen ausgewählte Beispiele. Bei 200 zufälligen Neuronen lösten 76 Prozent der neuen positiven Proben starke Reaktionen aus, die Fehlerquote bei Gegenbeispielen lag bei 11 Prozent. Zudem wurden bis zu 100.000 Attributionsgrafiken durchsucht, um Verarbeitungspfade nachzuvollziehen. Sollte sich die These bestätigen, könnte sich die Interpretierbarkeitsforschung von reiner Merkmalsextraktion hin zu direkter Agent-Analyse von Neuronen und Verbindungen verschieben. Das wäre relevant für Sicherheit und Kontrollierbarkeit, weil Fehler, Zielabweichungen oder Täuschung eher in internen Rechenschleifen lokalisiert werden könnten. Offene Grenzen bleiben jedoch: Die Ergebnisse sind nicht begutachtet und nicht unabhängig repliziert; die Statistik zu neuen Großsprachmodellen bedarf vollständiger Publikationen; einzelne Neuronen zu erklären, reicht für vollständige kausale Modellmechanismen nicht aus. Superposition bleibt damit eine weiter relevante Hypothese.