Generative Imagination hebt die maschinelle Übersetzung hervor

Es existieren gemeinsame Semantiken zwischen Text und Bild. Gegeben ein Satz in einer Quellsprache – hilft die Darstellung einer visuellen Szene bei der Übersetzung in eine Zielsprache? Bestehende multimodale neuronale Maschinenübersetzungsmethoden (MNMT) erfordern zum Trainieren Tripel aus bilingualen Sätzen und Bildern sowie zum Inferenzzeitpunkt Tupel aus Quellsatz und Bild. In diesem Paper stellen wir ImagiT vor, eine neuartige Maschinenübersetzungsmethode mittels visueller Imagination. ImagiT lernt zunächst, eine visuelle Repräsentation aus dem Quellsatz zu generieren, und nutzt anschließend sowohl den Quellsatz als auch die „phantasierte Repräsentation“, um eine Zielsprachenübersetzung zu erzeugen. Im Gegensatz zu früheren Ansätzen benötigt ImagiT lediglich den Quellsatz zur Inferenzzeit. Experimente zeigen, dass ImagiT von der visuellen Imagination profitiert und signifikant die rein textbasierten neuronalen Maschinenübersetzungs-Baselines übertrifft. Eine weitere Analyse ergibt, dass der Imaginationsprozess in ImagiT hilft, fehlende Informationen zu ergänzen, insbesondere bei der Anwendung einer Degradationsstrategie.