Une nouvelle étude menée par des chercheurs de l'université Brown suggère que les modèles de langage artificiels possèdent une forme de compréhension du monde réel, bien que différente de la nôtre. Présentée le 25 avril lors de la conférence internationale sur les représentations de l'apprentissage à Rio de Janeiro, et publiée sur le serveur de prépublications arXiv, cette recherche remet en question l'idée que ces systèmes se contentent de mémoriser des textes sans saisir les mécanismes sous-jacents de la réalité. Le travail, dirigé par le doctorant Michael Lepori et encadré par les professeurs Ellie Pavlick et Thomas Serre, porte sur la capacité des intelligences artificiales à conceptualiser la différence entre des événements courants, improbables, impossibles ou absurdes. L'équipe a interrogé divers modèles open source, notamment GPT-2 d'OpenAI, Llama 3.2 de Meta et Gemma 2 de Google, afin d'observer comment ces réseaux traitent des phrases décrivant des situations variées. Par exemple, ils ont testé des scénarios allant de « quelqu'un a refroidi une boisson avec de la glace » (courant) à « quelqu'un a refroidi une boisson avec du feu » (impossible) ou « avec d'hier » (non sens). Pour analyser ces processus, les chercheurs ont utilisé l'interprétabilité mécaniste, une méthode souvent comparée à la neuroscience pour les systèmes informatiques. Cette approche permet de « démonter » mentalement le modèle pour examiner les états mathématiques qu'il génère en interne face à une entrée donnée. En comparant ces états, nommés vecteurs, entre différentes catégories de phrases, les scientifiques ont pu vérifier si l'IA différenciait effectivement la plausibilité des événements. Les résultats montrent que les modèles suffisamment grands développent des motifs mathématiques distincts fortement corrélés à chaque catégorie de plausibilité. Ces vecteurs permettent même de distinguer des concepts similaires, comme les événements improbables des événements impossibles, avec une précision d'environ 85 %. De plus, une découverte majeure de l'étude est la correspondance entre l'incertitude humaine et celle des modèles. Lorsque les humains hésitaient à classer une affirmation, par exemple en partageant leur opinion à 50 % entre improbable et impossible, les modèles assignaient également une probabilité équivalente à ces catégories. Cela indique que l'IA capture la nuance de l'incertitude humaine. Les chercheurs ont noté que ces capacités émergent dans des modèles d'une taille relativement modeste de plus de deux milliards de paramètres, soit bien moins que les modèles massifs de plus de mille milliards de paramètres utilisés aujourd'hui. Ces findings suggèrent que les intelligences artificielles actuelles intègrent des contraintes causales du monde réel d'une manière qui reflète la cognition humaine. Selon les auteurs, cette compréhension ne signifie pas que l'IA possède une conscience, mais qu'elle a appris à encoder les règles implicites de la réalité physique et logique à travers l'immense quantité de données textuelles qu'elle a ingérées. L'étude souligne que ce type d'analyse mécaniste est essentiel pour mieux comprendre ce que les modèles savent et comment ils y parviennent. Ces connaissances sont cruciales pour le développement futur de systèmes d'intelligence artificielle plus performants, plus intelligents et surtout plus dignes de confiance, car elles offrent une transparence accrue sur le fonctionnement interne de ces technologies complexes.