MCIF ist ein mehrsprachiger, multimodaler, manuell annotierter Evaluierungsdatensatz, der auf wissenschaftlichen Vorträgen basiert und 2025 von der Fondazione Bruno Kessler in Zusammenarbeit mit dem Karlsruher Institut für Technologie und Translated veröffentlicht wurde. Verwandte Publikationen umfassen… MCIF: Multimodaler, mehrsprachiger Benchmark für das Verständnis von Anweisungen aus wissenschaftlichen VorträgenZiel ist es, die Fähigkeit multimodaler großer Sprachmodelle zu bewerten, Anweisungen in sprachübergreifenden Szenarien zu verstehen und auszuführen, sowie ihre Fähigkeit, Sprach-, Bild- und Textinformationen zum logischen Denken zu integrieren.

Dieser Datensatz umfasst 100 wissenschaftliche Sprachproben mit insgesamt ca. 10 Stunden Videomaterial. Er bietet drei Eingabemodalitäten: Text, Sprache und Video. Die Daten decken vier Sprachen ab: Englisch, Deutsch, Italienisch und Chinesisch. Es sind sowohl lange als auch kurze Eingabeformate enthalten. 21 der Kernproben enthalten vollständige, qualitativ hochwertige Transkriptionen in englischer Sprache mit einem Textumfang von ca. 15.500 Wörtern. Die übrigen Proben dienen primär Zusammenfassungsaufgaben und sind jeweils mit einem zugehörigen Abstract sowie abgestimmten Audio- und Videoinhalten versehen. Der Datensatz deckt Aufgaben wie Spracherkennung, Übersetzung, Fragebeantwortung und Zusammenfassung ab, die alle auf natürlichsprachlichen Anweisungen basieren. Er wird verwendet, um die sprachübergreifenden Fähigkeiten multimodaler Modelle zum Verständnis von Anweisungen zu evaluieren.