ArXiv s'attaque au « remplissage » d'articles sur l'IA : les auteurs n'ayant pas vérifié le contenu des grands modèles risquent une suspension d'un an
En tant que plateforme de prépublications largement utilisée par la communauté scientifique mondiale, arXiv a récemment durci ses politiques de gestion des articles générés par l'IA. Depuis longtemps un canal majeur pour la diffusion d'articles dans des domaines tels que l'informatique et les mathématiques, bien que ces publications ne soient pas soumises à une évaluation par les pairs au moment du dépôt, leur contenu influence rapidement le débat académique et l'orientation de la recherche. Par ailleurs, arXiv avait déjà pris des mesures face à la multiplication des articles de faible qualité issus de l'IA. Par exemple, lors de leur première soumission, les nouveaux utilisateurs doivent obtenir une recommandation signée par un chercheur expérimenté. De plus, après avoir été hébergé pendant plus de vingt ans par l'université Cornell, arXiv est en cours de transformation en une organisation indépendante sans but lucratif afin de disposer de ressources financières accrues pour traiter notamment les problèmes liés aux abus de l'IA. Les nouvelles règles ont été annoncées par Thomas Dietterich, responsable du département informatique d'arXiv. Il a déclaré que si des « preuves claires » indiquent qu'un auteur n'a pas vérifié les résultats générés par un modèle linguistique massif, alors la crédibilité de l'intégralité de l'article sera remise en question. Ces preuves comprennent entre autres des références bibliographiques fictives, la présence résiduelle directe de prompts IA ou de contenus de conversation avec le modèle. Selon ces nouvelles dispositions, dès confirmation de l'une de ces violations, l'auteur se verra interdire toute nouvelle soumission sur arXiv durant une année. Ensuite, tout article ultérieur devra préalablement être accepté par une revue ou une conférence faisant l'objet d'évaluation par les pairs avant de pouvoir être réuploadé sur arXiv. Toutefois, cela ne signifie pas une interdiction totale de l'utilisation des modèles linguistiques massifs sur la plateforme. arXiv précise que les chercheurs peuvent toujours utiliser les grands modèles de langage (LLM) comme assistance rédactionnelle, mais ils assument une « responsabilité complète » quant au contenu publié, qu'il soit généré par l'IA ou non. Dans une interview accordée à la presse, Thomas Dietterich a indiqué qu'il s'agit d'une règle appliquant immédiatement une sanction en cas de première infraction ; cependant, cette mise en œuvre nécessitera encore une étape de marquage par les modérateurs suivie d'une validation par le responsable du domaine, tandis que les auteurs conservent leur droit de recours. Ces dernières années, les inquiétudes concernant les phénomènes d'hallucination de l'IA dans le milieu universitaire n'ont cessé de croître. Des études ayant fait l'objet d'une évaluation par les pairs montrent ainsi une augmentation du nombre de citations inventées dans le secteur biomédical, dont les grands modèles sont considérés comme l'une des causes principales.
