HyperAIHyperAI

Command Palette

Search for a command to run...

Doppelt-Aufmerksamer Decoder für multimodale neuronale Maschinelle Übersetzung

Iacer Calixto; Qun Liu; Nick Campbell

Zusammenfassung

Wir stellen ein multimodales neuronales Maschinentranslationsmodell vor, bei dem ein doppelt aufmerksamer Decoder räumliche visuelle Merkmale, die mithilfe vortrainierter Faltungsneuralnetze gewonnen werden, natürlicherweise in den Prozess der Bildbeschreibung und Übersetzung integriert. Unser Decoder lernt während der Generierung von Wörtern in der Zielsprache, sowohl zu Quellsprachwörtern als auch zu Teilen eines Bildes unabhängig durch zwei getrennte Aufmerksamkeitsmechanismen aufzumerken. Wir feststellen, dass unser Modell nicht nur domänenspezifische multimodale Daten effizient nutzen kann, die durch Rückübersetzung erzeugt wurden, sondern auch große Textkorpora aus allgemeinen Bereichen, die ausschließlich für Maschinelle Übersetzung (MT) konzipiert sind. Darüber hinaus berichten wir über Stand-der-Technik-Ergebnisse im Multi30k-Datensatz.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp