IFEval-Inverse 역방향 명령어 평가 데이터 세트

IFEval-Inverse는 ByteDance Seed가 난징대학교, 칭화대학교 및 기타 기관들과 협력하여 2025년에 발표한 대규모 언어 모델을 위한 적대적 명령어 평가 데이터셋입니다. 관련 논문 결과는 다음과 같습니다.역 IFEval: LLM이 고집스러운 교육 규칙을 잊어버리고 실제 지침을 따를 수 있을까?"는 역방향 또는 비정상적 지침에 직면했을 때 모델이 훈련 관성을 깨고 실제 지침 따르기를 달성할 수 있는지 여부를 테스트하는 것을 목표로 합니다.

이 데이터세트는 1,012개의 고품질 이중 언어 중국어 및 영어 문제 샘플을 포함하고 있으며, 23개 영역에 걸쳐 문제 수정, 의도적인 텍스트 오류, 주석 처리되지 않은 코드, 비정상적인 형식, 의도적인 오답, 유도 질문, 수업 중 수정된 학습, 반사실적 질의응답 등 8가지 유형의 특이한 학습 과제를 다룹니다. 각 샘플은 인간-기계 스크리닝 및 검증 과정을 거치며, LLM-as-a-Judge 자동 채점 메커니즘을 활용합니다. 따라서 비전통적인 학습 시나리오에서 모델의 적응성과 강건성을 평가하고 개선하는 데 적합하며, 모델의 인지적 관성 완화 연구에 중요한 기준을 제공합니다.