HyperAIHyperAI

Command Palette

Search for a command to run...

ViTA: Visuell-sprachliche Übersetzung durch Ausrichtung von Objektmarkierungen

Kshitij Gupta Devansh Gautam Radhika Mamidi

Zusammenfassung

Multimodale maschinelle Übersetzung (MMT) bereichert den Quelltext durch visuelle Informationen für die Übersetzung. In den letzten Jahren hat dieses Feld an Bedeutung gewonnen, und mehrere Pipeline-Ansätze wurden in diese Richtung vorgeschlagen. Dennoch fehlen der Aufgabe qualitativ hochwertige Datensätze, die den Beitrag der visuellen Modalität in Übersetzungssystemen verdeutlichen könnten. In diesem Paper präsentieren wir unser System unter dem Teamnamen Volta für die multimodale Übersetzungs-Aufgabe des WAT 2021 von Englisch nach Hindi. Zudem nehmen wir an der rein textbasierten Teilaufgabe für dasselbe Sprachpaar teil, wobei wir mBART, ein vortrainiertes mehrsprachiges sequenz-zu-Sequenz-Modell, verwenden. Für die multimodale Übersetzung schlagen wir vor, die textuelle Eingabe durch die Transformation visueller Informationen in den textuellen Domänen zu verbessern, indem wir Objektbezeichnungen aus dem Bild extrahieren. Außerdem untersuchen wir die Robustheit unseres Systems systematisch durch die Degradierung der Quelltexteingabe. Schließlich erreichen wir auf dem Testset und dem Challenge-Set der multimodalen Aufgabe BLEU-Scores von 44,6 und 51,6.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
ViTA: Visuell-sprachliche Übersetzung durch Ausrichtung von Objektmarkierungen | Paper | HyperAI