IFEval-逆逆指示評価データセット

IFEval-Inverseは、ByteDance Seedが南京大学、清華大学などの研究機関と共同で2025年に公開した、大規模言語モデル向けの敵対的指導評価データセットです。関連論文の結果は「逆 IFEval: LLM は頑固なトレーニング規則を忘れて実際の指示に従うことができるか?このプログラムの目的は、モデルがトレーニングの慣性を打破し、逆の指示や異常な指示に直面したときに真の指示追従を実現できるかどうかをテストすることです。

このデータセットには、1,012件の高品質な中国語と英語のバイリンガル質問サンプルが含まれており、23の異なる領域にわたる8種類の特殊な指導課題（質問訂正、意図的なテキストエラー、コメントなしのコード、異常なフォーマット、意図的な誤回答、誘導質問、授業中の指導修正、反事実的質問応答）を網羅しています。各サンプルは、ヒューマンマシンスクリーニングと検証の組み合わせを経て、LLM-as-a-Judge自動採点メカニズムを利用しています。これにより、非伝統的な指導シナリオにおけるモデルの適応性と堅牢性を評価・改善するのに適しており、モデルの認知慣性の軽減に関する研究にとって重要なベンチマークとなります。