Biais IA : un benchmark évalue 22 LLMs sur les experts
Une équipe de recherche dirigée par Lisette Espín-Noboa, chercheuse au Complexity Science Hub, a récemment publié une étude révélant des biais systémiques dans les modèles de langage large lorsqu'ils sont utilisés pour recommander des experts académiques. Testés sur vingt-deux modèles variés, dont Gemini, GPT et LLaMA, ces systèmes présentent des écarts significatifs entre qualité technique et représentation sociale. Les chercheurs ont d'abord évalué la capacité de ces IA à identifier des spécialistes en physique à partir d'une base de référence de plus de quatre cent cinquante mille chercheurs. Leurs résultats montrent que les recommandations accordent une préférence marquée aux hommes, aux chercheurs américains et aux académiques hautement cités. Les femmes, qui constituent entre quatorze et trente-deux pour cent du corpus selon les sous-domaines, sont systématiquement sous-représentées, parfois totalement absentes. La diversité ethnique est également touchée, les chercheurs asiatiques, noirs et latino-américains étant minorisés au profit de profils blancs. Ces déséquilibres suggèrent que les IA n'imitent pas simplement les inégalités existantes, mais les amplifient en favorisant un effet de cumul des déjà visibles. Pour mesurer ces phénomènes de manière rigoureuse, l'équipe a conçu LLMScholarBench, un benchmark évaluant les modèles selon neuf indicateurs. Ces métriques distinguent la qualité technique, incluant la factualité et la cohérence, de la représentation sociale, telle que la diversité démographique et la parité. Les tests révèlent que les IA atteignent un taux de factualité compris entre soixante-trois et quatre-vingt-deux pour cent, mais peinent à respecter une répartition équitable des profils. Une évaluation plus poussée montre que les systèmes améliorent souvent l'un au détriment de l'autre. L'utilisation d'outils d'intervention utilisateur n'a pas permis de résoudre ce compromis. L'intégration de recherches web en temps réel renforce la précision factuelle mais détériore la diversité et la parité. À l'inverse, des consignes explicites pour équilibrer les recommandations améliorent la représentation sociale sans corriger les erreurs techniques. La localisation géographique indiquée dans les requêtes influence également les résultats, tandis que la langue d'écriture n'a aucun effet, soulignant que le cadrage spatial peut fausser l'évaluation des compétences scientifiques. Ces conclusions, présentées lors de la conférence ACM SIGKDD 2026 et accessibles sur le serveur arXiv, mettent en lumière un enjeu structurel propre aux données d'entraînement plutôt qu'aux modèles spécifiques. Les chercheurs soulignent que l'élargissement des bases de données ne suffira pas tant que leur couverture ne reflétera pas la réalité de toutes les communautés scientifiques. Au-delà du milieu universitaire, où ces outils servent à sélectionner des conférenciers ou des directeurs de thèse, les biais affectent déjà la recommandation de professionnels comme les médecins ou les avocats. LLMScholarBench se veut ainsi un outil d'audit standardisé pour accompagner le développement de systèmes plus fiables, équitables et transparents dans leur rôle de prescripteurs.
