MCIF est un ensemble de données d'évaluation multilingue, multimodal et annoté manuellement, basé sur des discours scientifiques. Il a été publié en 2025 par la Fondazione Bruno Kessler en collaboration avec le Karlsruhe Institute of Technology et Translated. Parmi les articles associés, on peut citer… MCIF : Évaluation comparative multimodale et interlingue du suivi d’instructions à partir de conférences scientifiquesL’objectif est d’évaluer la capacité des grands modèles de langage multimodaux à comprendre et à exécuter des instructions dans des scénarios interlinguistiques, ainsi que leur capacité à intégrer des informations vocales, visuelles et textuelles pour le raisonnement.

Cet ensemble de données contient 100 échantillons de discours scientifique, couvrant environ 10 heures de contenu vidéo. Il propose trois modalités d'entrée : texte, parole et vidéo, en quatre langues : anglais, allemand, italien et chinois, et inclut des formats d'entrée longs et courts. Parmi ces échantillons, 21 échantillons de discours principaux fournissent des transcriptions humaines complètes et de haute qualité en anglais, avec une taille de texte d'environ 15 500 mots ; les échantillons restants sont principalement utilisés pour des tâches de résumé, chacun étant accompagné d'un résumé d'article et du contenu audio et vidéo correspondant. L'ensemble de données couvre des tâches d'instruction telles que la reconnaissance, la traduction, la réponse aux questions et le résumé, toutes guidées par des instructions en langage naturel, et est utilisé pour évaluer les capacités de compréhension des instructions multilingues des modèles multimodaux.