Ein Faltungsencodermodell für neuronale maschinelle Übersetzung

Der gängige Ansatz für neuronale maschinelle Übersetzung basiert auf bidirektionalen LSTMs (Long Short-Term Memory), um den Quellsatz zu kodieren. In dieser Arbeit stellen wir eine schnellere und einfachere Architektur vor, die auf einer Reihe von Faltungsschichten beruht. Dies ermöglicht es, den gesamten Quellsatz gleichzeitig zu kodieren, im Gegensatz zu rekurrenten Netzen, bei denen die Berechnung durch zeitliche Abhängigkeiten eingeschränkt ist. Bei der Übersetzung von Englisch nach Rumänisch im Rahmen von WMT'16 erreichen wir eine wettbewerbsfähige Genauigkeit im Vergleich zum aktuellen Stand der Technik und übertreffen mehrere kürzlich veröffentlichte Ergebnisse bei der Übersetzung von Englisch nach Deutsch im Rahmen von WMT'15. Unsere Modelle erzielen fast die gleiche Genauigkeit wie ein sehr tiefes LSTM-Setup bei der Übersetzung von Englisch nach Französisch im Rahmen von WMT'14. Unser faltungsbasierter Encoder beschleunigt die CPU-Decodierung um mehr als das Doppelte bei gleicher oder höherer Genauigkeit als ein robustes bidirektionales LSTM-Basismodell.