MultiSubs: Ein groß angelegtes multimodales und mehrsprachiges Datensatz

Dieses Papier stellt einen umfangreichen multimodalen und mehrsprachigen Datensatz vor, der die Forschung zur Verankerung von Wörtern in Bildern im Kontext ihrer sprachlichen Verwendung fördern soll. Der Datensatz besteht aus Bildern, die sorgfältig ausgewählt wurden, um Konzepte eindeutig zu veranschaulichen, die in Sätzen aus Filmtiteln ausgedrückt werden. Dieser Datensatz ist eine wertvolle Ressource, da (i) die Bilder Textfragmenten und nicht ganzen Sätzen zugeordnet sind; (ii) für jedes Textfragment und jeden Satz mehrere Bilder möglich sind; (iii) die Sätze frei formuliert und realistisch sind; (iv) die parallelen Texte mehrsprachig sind. Wir haben ein Lückenfüllspiel eingerichtet, mit dem Menschen den Qualitätsstandard des automatischen Bildauswahlsprozesses unseres Datensatzes bewerten können. Wir demonstrieren die Nützlichkeit des Datensatzes anhand zweier automatischer Aufgaben: (i) Lückenfüllspiel; (ii) lexikalische Übersetzung. Die Ergebnisse der menschlichen Bewertung und der automatischen Modelle zeigen, dass Bilder eine nützliche Ergänzung zum textuellen Kontext sein können. Der Datensatz wird insbesondere bei der Forschung zur visuellen Verankerung von Wörtern im Kontext freier Sätze von Nutzen sein und kann unter einer Creative Commons Lizenz von https://doi.org/10.5281/zenodo.5034604 bezogen werden.