HyperAIHyperAI

Command Palette

Search for a command to run...

MultiSubs: Ein groß angelegtes multimodales und mehrsprachiges Datensatz

Author Name

Zusammenfassung

Dieses Papier stellt einen umfangreichen multimodalen und mehrsprachigen Datensatz vor, der die Forschung zur Verankerung von Wörtern in Bildern im Kontext ihrer sprachlichen Verwendung fördern soll. Der Datensatz besteht aus Bildern, die sorgfältig ausgewählt wurden, um Konzepte eindeutig zu veranschaulichen, die in Sätzen aus Filmtiteln ausgedrückt werden. Dieser Datensatz ist eine wertvolle Ressource, da (i) die Bilder Textfragmenten und nicht ganzen Sätzen zugeordnet sind; (ii) für jedes Textfragment und jeden Satz mehrere Bilder möglich sind; (iii) die Sätze frei formuliert und realistisch sind; (iv) die parallelen Texte mehrsprachig sind. Wir haben ein Lückenfüllspiel eingerichtet, mit dem Menschen den Qualitätsstandard des automatischen Bildauswahlsprozesses unseres Datensatzes bewerten können. Wir demonstrieren die Nützlichkeit des Datensatzes anhand zweier automatischer Aufgaben: (i) Lückenfüllspiel; (ii) lexikalische Übersetzung. Die Ergebnisse der menschlichen Bewertung und der automatischen Modelle zeigen, dass Bilder eine nützliche Ergänzung zum textuellen Kontext sein können. Der Datensatz wird insbesondere bei der Forschung zur visuellen Verankerung von Wörtern im Kontext freier Sätze von Nutzen sein und kann unter einer Creative Commons Lizenz von https://doi.org/10.5281/zenodo.5034604 bezogen werden.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp