Lernen von Phrasendarstellungen mit RNN-Kodierer-De kodierer für statistische Maschinelle Übersetzung

In dieser Arbeit schlagen wir ein neues neuronales Netzwerkmodell vor, das RNN Encoder-Decoder genannt wird und aus zwei rekurrenten neuronalen Netzen (RNN) besteht. Ein RNN kodiert eine Folge von Symbolen in eine vektorielle Darstellung fester Länge, während das andere RNN die Darstellung in eine weitere Folge von Symbolen dekodiert. Der Encoder und der Decoder des vorgeschlagenen Modells werden gemeinsam trainiert, um die bedingte Wahrscheinlichkeit einer Zielsequenz unter Berücksichtigung einer Quellsequenz zu maximieren. Die Leistung eines statistischen Maschinentranslationsystems verbessert sich empirisch durch die Verwendung der bedingten Wahrscheinlichkeiten von Phrasenpaaren, die vom RNN Encoder-Decoder berechnet werden, als zusätzliche Merkmale im bestehenden log-linearen Modell. Qualitativ zeigen wir, dass das vorgeschlagene Modell eine semantisch und syntaktisch sinnvolle Darstellung linguistischer Phrasen erlernt.