L'IA résout des problèmes qu'elle n'comprend pas : une découverte surprenante à l'UT Wien
Des chercheurs de l’Université technique de Vienne (TU Wien) ont mis en évidence un phénomène surprenant : les grands modèles linguistiques (LLM) sont capables de résoudre des problèmes logiques, même s’ils n’ont pas une compréhension réelle du raisonnement logique derrière ces tâches. Cette découverte révèle une capacité étonnante des systèmes d’intelligence artificielle à produire des solutions correctes sans véritable compréhension du sens des questions. L’étude, menée par une équipe de l’Institut de recherche en informatique de la TU Wien, a consisté à soumettre à des modèles comme GPT-3.5 ou Llama des énigmes logiques classiques, telles que celles impliquant des déductions à partir de contraintes ou des relations entre objets ou personnes. Bien que ces modèles soient conçus pour traiter le langage naturel et non pour raisonner de manière formelle, ils ont souvent fourni des réponses correctes, parfois même plus fiables que des approches classiques de logique formelle. Ce qui est fascinant, c’est que ces modèles ne « comprennent » pas la logique au sens humain du terme. Ils ne manipulent pas des règles formelles ni ne construisent des preuves étape par étape. Au lieu de cela, ils s’appuient sur des motifs statistiques appris à partir d’immenses quantités de texte. Leur succès provient de leur capacité à reconnaître des structures linguistiques similaires à celles qu’ils ont vues lors de l’entraînement, même si la tâche demandée est logiquement complexe. Les chercheurs ont observé que, par exemple, dans des énigmes du type « Qui a volé le fromage ? », les LLM parviennent à identifier le coupable en analysant les indices fournis, non pas par un raisonnement déductif explicite, mais en exploitant des corrélations implicites entre les mots, les structures de phrases et les contextes associés à ce type de problème. Cette découverte soulève des questions fondamentales sur la nature de l’intelligence artificielle. Elle montre que des systèmes peuvent réussir des tâches complexes sans posséder une compréhension conceptuelle ou sémantique profonde. Ce phénomène, souvent qualifié de « généralisation implicite », révèle que l’intelligence artificielle peut tirer parti de données massives pour reproduire des comportements intelligents, même lorsqu’elle ne « sait » pas vraiment ce qu’elle fait. Cela ouvre aussi de nouvelles perspectives pour l’utilisation des LLM dans des domaines exigeants, comme la vérification de logiciels, la résolution de problèmes mathématiques ou l’aide à la prise de décision. Bien que ces modèles ne soient pas des raisonneurs formels, leur efficacité dans des tâches logiques inattendues pourrait être exploitée pour améliorer des systèmes hybrides, combinant l’intuition statistique des LLM avec des outils de logique formelle. En somme, cette recherche met en lumière un paradoxe fascinant : l’intelligence artificielle peut résoudre des problèmes qu’elle ne comprend pas, non pas grâce à la compréhension, mais grâce à une forme d’habileté émergente, issue de l’immensité de ses données d’entraînement.
