IFEval-Inverse est un ensemble de données d'évaluation d'instructions contradictoires pour les grands modèles linguistiques, publié en 2025 par ByteDance Seed en collaboration avec l'Université de Nanjing, l'Université Tsinghua et d'autres institutions. Les résultats de l'étude sont les suivants :Inverse IFEval : les LLM peuvent-ils désapprendre les conventions de formation tenaces pour suivre de vraies instructions ?", qui vise à tester si le modèle peut briser l'inertie de l'entraînement et parvenir à un véritable suivi des instructions lorsqu'il est confronté à des instructions inversées ou anormales. Cet ensemble de données contient 1 012 exemples de questions bilingues chinois et anglais de haute qualité, couvrant huit types de défis pédagogiques inhabituels, notamment la correction de questions, les erreurs de texte intentionnelles, le code non commenté, le formatage inhabituel, les réponses intentionnellement incorrectes, les questions suggestives, les révisions d'instructions en cours de cours et les réponses à des questions contrefactuelles, dans 23 domaines différents. Chaque échantillon est soumis à une combinaison de sélection et de validation homme-machine, et utilise le mécanisme de notation automatisé LLM-as-a-Judge. Cela le rend idéal pour évaluer et améliorer l'adaptabilité et la robustesse des modèles dans des scénarios d'enseignement non traditionnels, et constitue également une référence importante pour la recherche sur l'atténuation de l'inertie cognitive des modèles.

Citation

@misc{zhang2025inverseifevalllmsunlearn, titre={Évaluation inverse de l'IFE : Les LLM peuvent-ils désapprendre des conventions de formation tenaces pour suivre de véritables instructions ?}, author={Qinyan Zhang et Xinping Lei et Ruijie Miao et Yu Fu et Haojie Fan et Le Chang et Jiafan Hou et Dingling Zhang et Zhongfei Hou et Ziqiang Yang et Changxin Pu et Fei Hu et Jingkai Liu et Mengyun Liu et Yang Liu et Xiang Gao et Jiaheng Liu et Tong Yang et Zaiyuan Wang et Ge Zhang et Wenhao Huang} année={2025}, eprint={2509.04292}, préfixe d'archive={arXiv}, primaryClass={cs.CL}, url={https://arxiv.org/abs/2509.04292}, }