HyperAIHyperAI

Command Palette

Search for a command to run...

Gumbel-Attention für die multimodale maschinelle Übersetzung

Pengbo Liu Hailong Cao Tiejun Zhao

Zusammenfassung

Die multimodale maschinelle Übersetzung (MMT) verbessert die Übersetzungsqualität durch die Einbeziehung visueller Informationen. Allerdings ignorieren bestehende MMT-Modelle das Problem, dass Bilder Informationen enthalten können, die für den Text irrelevant sind, wodurch erhebliche Störungen für das Modell entstehen und die Übersetzungsqualität beeinträchtigt wird. In dieser Arbeit wird ein neuartiger Gumbel-Attention-Ansatz für die multimodale maschinelle Übersetzung vorgestellt, der die textrelevanten Teile der Bilddaten auswählt. Im Gegensatz zu früheren auf Aufmerksamkeit basierenden Methoden verwenden wir zunächst eine differenzierbare Methode, um die Bilddaten selektiv auszuwählen und automatisch die nutzlosen Teile der Bilddatenmerkmale zu entfernen. Experimente bestätigen, dass unsere Methode die textrelevanten Bilddatenmerkmale beibehält und die verbleibenden Teile dazu beitragen, dass das MMT-Modell qualitativ bessere Übersetzungen erzeugt.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Gumbel-Attention für die multimodale maschinelle Übersetzung | Paper | HyperAI