MCIFは、科学論文に基づく多言語、マルチモーダル、手作業で注釈が付けられた評価データセットで、2025年にFondazione Bruno Kesslerがカールスルーエ工科大学およびTranslatedと共同で公開しました。関連論文には以下が含まれます。 MCIF: 科学講演からのマルチモーダル・クロスリンガル指導のベンチマーク目的は、マルチモーダル大規模言語モデルが複数言語のシナリオで指示を理解して実行する能力、および推論のために音声、視覚、テキスト情報を統合する能力を評価することです。

このデータセットには、約10時間分のビデオコンテンツに相当する100件の科学音声サンプルが含まれています。入力形式はテキスト、音声、動画の3種類で、英語、ドイツ語、イタリア語、中国語の4言語をカバーし、長文と短文の両方の入力形式が含まれています。このうち21件のコア音声サンプルは、約15,500語の英語の完全かつ高品質な書き起こしを提供します。残りのサンプルは主に要約タスクに使用され、それぞれに対応する論文要旨と、アラインメントされた音声および動画コンテンツが付属しています。このデータセットは、認識、翻訳、質問応答、要約などの指示タスクをカバーしており、すべて自然言語指示によって駆動されます。また、マルチモーダルモデルの言語間指示理解能力を評価するために使用されます。