Récemment, une équipe dirigée par Li Guoqi et Xu Bo du Institut d’automatique de l’Académie des sciences de Chine a publié une étude intitulée « Neuromorphic Spike-based Large Language Model » dans la revue National Science Review. Cette recherche présente un nouveau modèle de langage à grande échelle basé sur la neuromorphologie (NSLLM), qui s’inspire des principes du fonctionnement du cerveau humain pour améliorer à la fois l’efficacité énergétique et la compréhensibilité des grands modèles de langage (LLM). Les LLM actuels, bien qu’essentiels pour l’atteinte de l’intelligence artificielle générale (AGI), souffrent de coûts computationnels et mémoire élevés, limitant leur déploiement à grande échelle. De plus, leur faible transparence dans les décisions pose des problèmes critiques dans des domaines sensibles comme la santé ou la finance. En revanche, le cerveau humain consomme moins de 20 watts pour accomplir des tâches complexes, tout en offrant une capacité naturelle à traiter l’information de manière explicite. Ce décalage souligne deux défis majeurs : réduire la consommation énergétique des modèles et renforcer leur interprétabilité. Pour relever ces défis, l’équipe a conçu un cadre interdisciplinaire qui relie les neurosciences et les LLM. Le NSLLM repose sur une transformation du traitement classique en un système basé sur des impulsions neuronales, en utilisant des mécanismes tels que le comptage d’impulsions entières, la conversion en impulsions binaires et une attention linéaire par impulsions. Ce changement permet d’appliquer des outils neuroscientifiques directement au fonctionnement du modèle, offrant ainsi une vision plus claire des processus d’information. Un aspect clé du modèle est la stratégie « entraînement en entiers, inférence binaire », qui convertit les sorties des LLM classiques en signaux d’impulsions. Cette approche facilite l’analyse des dynamiques neuronales et améliore la compréhension des décisions prises par le modèle. Pour valider l’efficacité énergétique, les chercheurs ont conçu une architecture matérielle sur FPGA (VCK190) sans opérations de multiplication matricielle (MatMul-Free), en utilisant une quantification progressive et une stratégie de densité adaptative. Grâce à une optimisation fine des seuils de déclenchement d’impulsions, ils ont réduit la fréquence d’émission d’impulsions, ce qui a permis de diminuer la puissance dynamique à seulement 13,849 W. Le débit d’inférence atteint 161,8 tokens/seconde, soit une amélioration de 19,8 fois en efficacité énergétique, 21,3 fois en efficacité mémoire et 2,2 fois en débit par rapport à une GPU A800. En outre, le cadre NSLLM permet une analyse neurodynamique fine. En mesurant des indicateurs comme l’entropie de Shannon, l’entropie de Kolmogorov-Sinai ou l’information mutuelle, les chercheurs ont pu observer que les couches du modèle réagissent différemment selon la complexité sémantique du texte. Par exemple, les couches intermédiaires montrent une information mutuelle plus élevée pour les textes ambigus, tandis que certaines couches (comme AS) présentent des dynamiques spécifiques liées au traitement d’informations rares. Ces résultats démontrent que le modèle peut être interprété à la lumière des mécanismes biologiques du cerveau. Enfin, le NSLLM maintient des performances comparables aux modèles classiques dans des tâches complexes comme le raisonnement courant, la compréhension de texte ou les questions de connaissances mondiales. Ce travail ouvre ainsi une voie prometteuse vers des systèmes d’IA plus efficaces, plus transparents et plus proches du fonctionnement cognitif humain, tout en offrant des perspectives concrètes pour le développement de puces neuromorphiques de nouvelle génération.