MCIF는 과학 강연을 기반으로 한 다국어, 다중 모드, 수동 주석 평가 데이터 세트로, 2025년 브루노 케슬러 재단이 카를스루에 공과대학교 및 Translated와 협력하여 공개했습니다. 관련 논문은 다음과 같습니다... MCIF: 과학 발표를 기반으로 한 다중 모드 다국어 교육 추적 벤치마크본 연구의 목표는 다중 모달 대규모 언어 모델이 다양한 언어 환경에서 명령을 이해하고 실행하는 능력과, 추론을 위해 음성, 시각 및 텍스트 정보를 통합하는 능력을 평가하는 것입니다. 이 데이터셋은 약 10시간 분량의 비디오 콘텐츠에 해당하는 100개의 과학 논문 음성 샘플을 포함합니다. 텍스트, 음성, 비디오의 세 가지 입력 방식을 제공하며, 영어, 독일어, 이탈리아어, 중국어의 네 가지 언어를 지원하고 장문 및 단문 입력 형식을 모두 포함합니다. 이 중 21개의 핵심 음성 샘플은 약 15,500단어 분량의 완전하고 고품질의 영어 음성 전사본을 제공하며, 나머지 샘플은 주로 요약 작업에 사용됩니다. 각 샘플에는 해당 논문 초록과 정렬된 오디오 및 비디오 콘텐츠가 함께 제공됩니다. 이 데이터셋은 자연어 지시를 기반으로 하는 인식, 번역, 질의응답, 요약 등의 지시 작업을 포괄하며, 멀티모달 모델의 다국어 지시 이해 능력을 평가하는 데 사용됩니다.