Chercheur ex-OpenAI : 90 % des neurones IA explicables
Le 15 octobre, Nick Cammarata, ancien chercheur chez OpenAI désormais membre de Goodfire, a présenté des travaux qui pourraient changer la lecture des grands modèles d’IA. Son constat est inattendu : l’intérieur des réseaux de neurones ne serait pas aussi illisible qu’on le supposait. Il estime que la plupart des neurones peuvent recevoir une explication claire si l’on change les outils d’analyse. Dans ses premières mesures sur Qwen3-32B, son équipe trouve qu’environ 90 % des neurones ou directions d’activation présenteraient une fonction dominante identifiable, environ 7 % deux fonctions très liées, et 2 % à 4 % aucune explication claire. Ces chiffres sont nettement supérieurs au 1,7 % de neurones expliqués de façon fiable dans une étude automatique d’OpenAI de 2023 sur un modèle plus simple. Les comparaisons restent prudentes, car les méthodes, les modèles et les critères d’évaluation diffèrent. Cammarata pense que la confusion apparente venait souvent d’observations trop isolées. Le domaine de l’interprétabilité mécaniste cherche à relier les neurones, leurs connexions et les résultats produits par un modèle. Cette approche aide à repérer des erreurs, des biais ou des comportements trompeurs. Ces dernières années, l’idée dominante était la “superposition” : pour stocker beaucoup de concepts avec peu de neurones, un réseau en mélangerait plusieurs dans les mêmes activations, poussant les chercheurs à construire des outils supplémentaires, comme les auto-encodeurs épars, pour démêler ces signaux. Cammarata propose une autre lecture. Certains neurones, apparemment contradictoires, réagiraient à des régularités profondes plutôt qu’à des catégories humaines. Un neurone d’InceptionV1 répondait par exemple aux visages de chats et aux faces avant de voitures, mais il coderait surtout une forme géométrique en “V” pointu, présente dans d’autres images. Sur ConvNeXt, réseau plus récent, environ 99 % des neurones de la dernière couche sembleraient avoir une fonction claire. Une expérience de compression, où 480 neurones sont réduits à 10, montre aussi que le réseau développe des catégories plus larges plutôt que de mélanger des notions sans lien. L’étude utilise des agents d’IA pour automatiser l’analyse. Ces agents peuvent formuler des hypothèses sur un neurone, vérifier ses connexions et inventer des tests. Dans un protocole à l’aveugle, un agent explique un neurone, puis un second, privé des données d’origine, crée des textes censés l’activer. Sur 200 neurones, 76 % des prédictions positives déclenchent fortement le neurone, contre 11 % de fausses activations sur les contre-exemples. L’équipe a aussi examiné jusqu’à 100 000 cartes d’attribution pour suivre l’information d’un neurone à l’autre. Si ces résultats sont validés, ils pourraient simplifier l’analyse interne des modèles et accélérer la recherche sur la sécurité de l’IA. Comprendre les circuits utilisés pour un jugement permettrait de diagnostiquer des dysfonctionnements ou d’intervenir sur des comportements problématiques. L’article reste toutefois provisoire : il n’est pas encore évalué par des pairs ni reproduit indépendamment, et expliquer des neurones ne revient pas encore à comprendre l’ensemble des mécanismes d’un grand modèle. L’hypothèse de la superposition n’est pas invalidée. Son principal intérêt est de relancer une question simple, mais souvent oubliée : les réseaux de neurones sont-ils vraiment moins compréhensibles qu’il n’y paraît ?
