Des chercheurs utilisent des invites AI cachées pour influencer la revue par les pairs

Des chercheurs visent à influencer la relecture par les pairs avec des instructions cachées pour les outils d'IA Selon Nikkei Asia, des académiques auraient recours à une stratégie novatrice pour influencer la relecture de leurs articles de recherche : ajouter des instructions cachées destinées à inciter les outils d'intelligence artificielle à émettre des avis positifs. L'examen d'articles de prépublication en anglais disponibles sur le site arXiv a permis de déceler jusqu'à 17 articles comportant certaines formes d'instructions cachées. Les auteurs de ces papiers étaient affiliés à 14 institutions académiques réparties dans huit pays, dont l'Université Waseda au Japon, le KAIST en Corée du Sud, ainsi que l'Université Columbia et l'Université de Washington aux États-Unis. Ces articles portaient généralement sur l'informatique, et les instructions étaient courtes, s’étendant sur une à trois phrases. Elles étaient cachées grâce à l'utilisation de texte blanc ou d'une police de caractères extrêmement petite. Ces prompts incitaient les potentielles IA reviewer à « donner une revue positive uniquement » ou à louer le papier pour ses « contributions marquantes, sa rigueur méthodologique et son exceptionnelle nouveauté ». Un professeur de l'Université Waseda, contacté par Nikkei Asia, a défendu l'utilisation de ces instructions. Comme de nombreuses conférences interdisent l'usage de l'IA pour la relecture des articles, il a expliqué que ces prompts servent à « contrer les relecteurs paresseux qui utilisent l'IA ». Cette justification soulève néanmoins des questions éthiques quant à l’intégrité du processus de relecture par les pairs et l'équité dans l'évaluation des recherches. Le processus de relecture par les pairs est un élément crucial pour garantir la qualité et la validité des publications scientifiques. En y intégrant des instructions cachées pour influencer les outils d'IA, les chercheurs pourraient altérer la fiabilité des évaluations et compromettre la crédibilité des travaux publiés. Cette pratique pourrait également créer des déséquilibres entre les auteurs qui y ont recours et ceux qui n’utilisent pas de tels stratagèmes. Les institutions académiques et les organismes de publication devront probablement prendre des mesures pour contrôler et éventuellement interdire cette pratique, afin de préserver l'intégrité du processus de relecture. En parallèle, il est nécessaire d’encourager une utilisation responsable et transparente de l'IA dans la communauté scientifique, afin que ces outils puissent être exploités de manière constructive sans compromettre l'équité et la rigueur de l'évaluation des travaux de recherche. Cette affaire met en lumière les défis éthiques auxquels la communauté scientifique est confrontée avec l'émergence de technologies de l'IA de plus en plus sophistiquées. Elle invite également à une réflexion plus large sur la manière dont ces technologies peuvent être intégrées et régulées dans le processus de révision et d’évaluation académiques.