Dans un tournant majeur pour l’intelligence artificielle, OpenAI annonce une percée prometteuse dans la compréhension des grands modèles linguistiques : la création d’un modèle expérimental à poids épars, capable de rendre visible son processus de raisonnement interne — une première dans l’histoire des systèmes d’IA. Ce modèle, baptisé weight-sparse transformer, ne vise pas à surpasser les architectures actuelles comme GPT-5 ou Gemini, mais à offrir une transparence sans précédent dans des systèmes auparavant considérés comme des « boîtes noires ». À l’heure où les grands modèles linguistiques façonnent des domaines critiques — recherche scientifique, éducation, santé publique — leur opacité devient une préoccupation croissante. Bien que ces modèles réussissent des tâches complexes, ils ne peuvent pas expliquer leurs décisions. Ils génèrent des réponses sans fournir de justification, peuvent produire des hallucinations inattendues, et leurs mécanismes internes restent mystérieux. Pourtant, leurs performances sont le résultat de dizaines de milliards de poids ajustés automatiquement pendant l’entraînement, dans une architecture dense où chaque neurone est relié à presque tous les autres. Cette densité, bien qu’efficace pour l’apprentissage, rend les connaissances dispersées et imbriquées, rendant toute analyse humaine quasi impossible. OpenAI propose une solution radicalement différente : la mécanique explicative (mechanistic interpretability). Leur modèle épars impose une contrainte fondamentale : la plupart des poids sont fixés à zéro. Chaque neurone n’est donc relié qu’à un petit nombre de neurones dans les couches voisines. Cette architecture, inspirée du modèle GPT-2 mais fortement simplifiée, force le réseau à localiser les informations : une notion comme « guillemets simples » n’est plus disséminée dans des dizaines de connexions, mais associée à un canal ou un groupe de neurones bien définis. Le résultat ? Une structure interne lisible. Dans des tâches simples — comme déterminer si une chaîne de caractères doit être fermée par des guillemets simples ou doubles — les chercheurs ont pu suivre pas à pas le raisonnement du modèle. Ils ont observé clairement : un canal encode le type d’ouverture, un module MLP extrait l’information « est-ce un guillemet ? » et « de quel type ? », un mécanisme d’attention localise la position initiale, puis le modèle copie le type pour la fermeture. Cette chaîne de calcul, visible et traçable, était jusqu’ici inédite. Même pour des tâches plus complexes, comme le suivi des liaisons de variables dans un code Python, le modèle révèle des « circuits partiels » : un head d’attention copie le nom d’une variable vers sa définition, un autre transmet le type. Ces structures locales, bien que partielles, permettent de prédire le comportement du modèle, suggérant que même dans des tâches complexes, des mécanismes fondamentaux peuvent être localisés et compris. Cependant, cette transparence a un prix : la performance est faible, comparable à celle de GPT-1 (2018), et le modèle est nettement plus lent. Des experts comme la mathématicienne Elisenda Grigsby de l’Université de Boston soulignent que l’extension à des modèles de taille GPT-3 ou supérieure reste incertaine, en raison de la complexité accrue des tâches. Gao et son équipe reconnaissent cette limitation, mais restent optimistes. « Peut-être dans quelques années, nous pourrons disposer d’un GPT-3 entièrement interprétable, où chaque composant peut être compris. » Cette recherche ne vise pas à créer le modèle le plus puissant, mais à répondre à une question fondamentale : pouvons-nous vraiment comprendre les systèmes qui façonnent notre avenir ? Le modèle épars d’OpenAI n’est pas une solution immédiate, mais un pas décisif vers une IA plus transparente, plus fiable, et plus contrôlable. Il ouvre la voie à une nouvelle ère où l’intelligence artificielle ne sera plus une boîte noire insondable, mais un outil dont nous pouvons comprendre le fonctionnement — et ainsi, mieux le maîtriser.