Ex-OpenAI éclaire l'interprétabilité des neurones IA

Une nouvelle étude indépendante pourrait changer la façon dont les chercheurs comprennent le fonctionnement interne des modèles d’intelligence artificielle, avec des implications directes pour la sécurité de ces systèmes. Nick Cammarata, un chercheur ayant travaillé chez OpenAI jusqu’en 2023, affirme dans un récent rapport que les réseaux de neurones des IA sont plus compréhensibles qu’on ne le pensait. Jusqu’à présent, une idée dominante dans le secteur était que les neurones artificiels, qui s’activent lorsqu’un modèle détecte certains éléments dans une image, un texte ou un son, restaient largement interprétables de façon limitée. Pour prendre un exemple simple, lorsqu’une IA analyse une photo, certaines unités internes s’activent, mais les ingénieurs peinaient à expliquer précisément pourquoi une unité réagissait plutôt qu’une autre. Ce manque de visibilité créait une forme de boîte noire : on peut observer les données entrantes et les réponses finales d’un modèle, mais pas toujours le cheminement interne qui les relie. Selon Cammarata, cette opacité pourrait être en partie contournée. En étudiant finement les connexions entre neurones, il estime qu’il est possible d’identifier des schémas de réaction cohérents. Dans l’un des exemples cités, un même neurone artificiel pourrait réagir à la fois à un chat et à la partie avant d’une voiture. Pour un humain, ces deux objets semblent sans rapport. L’IA, elle, pourrait détecter une caractéristique partagée, comme une forme triangulaire, et activer le même neurone pour les deux cas. Cette observation contredit une idée reçue selon laquelle les réseaux de neurones stockeraient des informations sans lien apparent afin d’économiser de l’espace. Si l’analyse de Cammarata se confirme, elle montrerait que les réseaux construisent des représentations internes parfois logiques, mais fondées sur des associations souvent surprenantes pour un regard humain. Ces travaux intéressent particulièrement les experts en sécurité des IA. Si un système devient capable de tromper ses concepteurs, comprendre ce qui se passe à l’intérieur devient essentiel. Aujourd’hui, une des méthodes principales pour surveiller un modèle consiste à suivre son raisonnement affiché, souvent appelé raisonnement en chaîne. Mais Jakub Pachocki, scientifique en chef chez OpenAI, a récemment averti que les agents IA pourraient être capables de masquer leur raisonnement visible, voire de donner une fausse image de leur fonctionnement aux humains chargés de les superviser. Le rapport de Cammarata propose donc une piste différente : non pas se fier uniquement aux réponses volontairement produites par l’IA, mais chercher à déchiffrer directement les activations internes des réseaux. Le chercheur écrit que presque l’ensemble du réseau pourrait devenir interprétable si les analyses sont suffisamment attentives. Les réserves restent néanmoins importantes. Son analyse demeure théorique, dense et repose encore sur des démonstrations qui doivent être validées plus largement. Elle ne signifie pas que l’on peut déjà comprendre parfaitement n’importe quel grand modèle d’IA. Elle suggère toutefois que la boîte noire n’est peut-être pas aussi imperméable que certains le croyaient. Dans un contexte où les modèles deviennent plus puissants et où la surveillance de leurs décisions est considérée comme un enjeu majeur, ce résultat est perçu par plusieurs commentateurs comme une avancée significative. Certains avaient même jugé improbable d’atteindre une interprétabilité solide avant l’arrivée de systèmes très avancés. Si ses conclusions tiennent, elles pourraient offrir aux ingénieurs un outil nouveau pour mieux contrôler les IA et anticiper des comportements indésirables.