Ai2 révèle la fragilité des LLMs jugeant la nouveauté

Ai2 a publié Old Ideas, Novel Problems, une étude consacrée à la fiabilité des grands modèles de langage lorsqu’ils jugent la nouveauté d’idées de recherche scientifique. L’organisation y présente un benchmark, des données, du code et un pipeline permettant aux chercheurs de créer de nouveaux jeux d’évaluation. Le travail porte sur les « juges de nouveauté », ces systèmes pilotés par des LLM chargés de dire si une proposition de recherche apporte réellement quelque chose de nouveau par rapport aux travaux existants. Le constat est net: ces juges restent très instables. Ai2 a testé six modèles — GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 et Claude Opus 4.6 — dans des tâches consistant à noter ou comparer la nouveauté d’idées issues d’articles humains ou générées par une IA. Une simple variation de formulation peut faire basculer le verdict. Dans un cas, passer d’une consigne précisant qu’une idée est nouvelle dans chaque paire à une question plus générale a fait chuter l’exactitude de GPT-5.4 de 93,5 % à 40,9 %, soit en dessous du hasard. Le modèle a alors changé d’avis sur plus de la moitié des mêmes paires. Pour construire le benchmark, Ai2 a exploité les relectures d’ICLR 2026. Plutôt que d’utiliser l’acceptation des articles comme preuve de nouveauté, l’équipe a identifié les passages où des reviewers mentionnaient explicitement l’originalité. Elle a retenu 154 idées humaines à forte nouveauté et 145 idées à plus faible nouveauté, selon les avis des relecteurs. Un second jeu compare ensuite des idées humaines validées à des idées générées par un LLM simple, sans recherche bibliographique ni itération. Les résultats suggèrent qu’un juge peut paraître stable sur des idées humaines mais se montrer peu fiable sur des idées générées par IA. Les modifications de prompt, de format, de budget de raisonnement ou d’accès à des documents récupérés n’améliorent pas systématiquement les jugements. Même des évaluateurs conçus spécifiquement pour la nouveauté ont obtenu de moins bons scores que Claude Opus 4.6 dans une configuration simple, tout en étant plus coûteux. Par exemple, sur le jeu mêlant idées humaines et générées, le prompt basique a atteint 0,854 de score macro-F1 pour 2,59 dollars, contre 0,642 pour Idea Novelty Checker à 30,66 dollars. Le macro-F1 est un indicateur où un chiffre plus élevé signifie une meilleure capacité à distinguer les idées nouvelles des autres. Pour Ai2, l’évaluation de la nouveauté reste donc un problème ouvert. Si les systèmes d’IA doivent aider à produire et sélectionner des idées scientifiques, il faudra des juges plus robustes, testés sur les types d’idées qu’ils doivent réellement comparer, et moins sensibles à la formulation des consignes. Le benchmark vise à rendre ce problème mesurable et à orienter les prochaines générations d’outils.