HyperAIHyperAI

Command Palette

Search for a command to run...

Generative Imagination hebt die maschinelle Übersetzung hervor

Quanyu Long Mingxuan Wang Lei Li

Zusammenfassung

Es existieren gemeinsame Semantiken zwischen Text und Bild. Gegeben ein Satz in einer Quellsprache – hilft die Darstellung einer visuellen Szene bei der Übersetzung in eine Zielsprache? Bestehende multimodale neuronale Maschinenübersetzungsmethoden (MNMT) erfordern zum Trainieren Tripel aus bilingualen Sätzen und Bildern sowie zum Inferenzzeitpunkt Tupel aus Quellsatz und Bild. In diesem Paper stellen wir ImagiT vor, eine neuartige Maschinenübersetzungsmethode mittels visueller Imagination. ImagiT lernt zunächst, eine visuelle Repräsentation aus dem Quellsatz zu generieren, und nutzt anschließend sowohl den Quellsatz als auch die „phantasierte Repräsentation“, um eine Zielsprachenübersetzung zu erzeugen. Im Gegensatz zu früheren Ansätzen benötigt ImagiT lediglich den Quellsatz zur Inferenzzeit. Experimente zeigen, dass ImagiT von der visuellen Imagination profitiert und signifikant die rein textbasierten neuronalen Maschinenübersetzungs-Baselines übertrifft. Eine weitere Analyse ergibt, dass der Imaginationsprozess in ImagiT hilft, fehlende Informationen zu ergänzen, insbesondere bei der Anwendung einer Degradationsstrategie.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp