Des chercheurs de l’Université de Sarre et de l’Institut Max-Planck pour les systèmes logiciels ont, pour la première fois, démontré que les réactions humaines et celles des grands modèles d’intelligence artificielle (LLM) face à du code informatique complexe ou trompeur présentent des similitudes frappantes. En comparant l’activité cérébrale des participants à l’incertitude des modèles, cette étude, publiée sur la plateforme arXiv, ouvre la voie à de nouveaux outils d’aide au développement logiciel. Soutenu par Sven Apel, professeur d’ingénierie logicielle à l’Université de Sarre, et Mariya Toneva, chercheuse à l’Institut Max-Planck, l’équipe a exploré la manière dont les humains et les LLM réagissent à des fragments de code particulièrement ambigus. Ces éléments, appelés « atomes de confusion », sont de courtes séquences syntaxiquement correctes mais trompeuses, capables de déstabiliser même des développeurs expérimentés. Pour mener cette investigation, les chercheurs ont adopté une approche interdisciplinaire. D’un côté, ils ont exploité des données issues d’une étude antérieure menée par Apel, dans laquelle des participants lisaient des versions de code claires ou confuses, tout en mesurant leur activité cérébrale par électroencéphalographie (EEG) et leur regard par suivi oculaire. De l’autre, ils ont évalué l’incertitude des LLMs à l’aide d’un indicateur bien établi : la perplexité. Ce paramètre mesure la capacité d’un modèle à prédire une suite de tokens textuels, en fonction de leur probabilité. Plus la perplexité est élevée, plus le modèle hésite. Les résultats ont révélé une corrélation forte : chaque fois que les humains éprouvaient des difficultés à comprendre un fragment de code, les LLMs présentaient également une augmentation significative de leur perplexité. Les signaux EEG, notamment une activation tardive dans la région frontale associée à des fins de phrase inattendues dans les études linguistiques, augmentaient précisément aux mêmes endroits où l’incertitude du modèle atteignait son maximum. « Nous avons été étonnés par la force de cette corrélation entre les pics d’activité cérébrale et l’incertitude du modèle », déclare Youssef Abdelsalam, doctorant encadré par Toneva et Apel, et principal auteur de l’étude. À partir de ces observations, les chercheurs ont conçu une méthode automatisée, fondée sur les données, pour détecter et mettre en évidence les parties ambiguës du code. Dans plus de 60 % des cas, l’algorithme a réussi à identifier des motifs de confusion déjà connus et annotés manuellement. Mais surtout, il a découvert plus de 150 nouveaux motifs auparavant inconnus, tous corrélés à une augmentation de l’activité cérébrale chez les lecteurs humains. « Ce travail représente une avancée vers une meilleure compréhension de l’alignement entre les humains et les machines », souligne Mariya Toneva. « Si nous savons quand et pourquoi les humains et les modèles d’IA font erreur aux mêmes endroits, nous pouvons concevoir des outils qui rendent le code plus compréhensible et renforcent considérablement la collaboration homme-machine. » En reliant neuroscience, ingénierie logicielle et intelligence artificielle, cette recherche pose les fondations d’un nouveau paradigme dans le développement logiciel. Elle a été acceptée pour publication à la conférence internationale sur l’ingénierie logicielle (ICSE).