HyperAIHyperAI
vor 2 Monaten

Linguistische Eingabeeigenschaften verbessern die neuronale Maschinübersetzung

Rico Sennrich; Barry Haddow
Linguistische Eingabeeigenschaften verbessern die neuronale Maschinübersetzung
Abstract

Neuronale Maschinelle Übersetzung (NMT) hat kürzlich beeindruckende Ergebnisse erzielt, wobei nur wenig externe linguistische Information verwendet wurde. In dieser Arbeit zeigen wir, dass die starke Lernfähigkeit von NMT-Modellen linguistische Merkmale nicht überflüssig macht; sie können leicht integriert werden, um die Leistung weiter zu verbessern. Wir verallgemeinern die Einbettungsschicht des Encoders in der Aufmerksamkeits-basierten Encoder-Decoder-Architektur, um die Einbeziehung beliebiger Merkmale zu unterstützen, zusätzlich zum Baseline-Wortmerkmal. Wir fügen morphologische Merkmale, Wortart-Tags und syntaktische Abhängigkeitslabels als Eingabemerkmale zu den NMT-Systemen für Englisch<->Deutsch und Englisch->Rumänisch hinzu. In Experimenten mit den Trainings- und Testsets von WMT16 stellen wir fest, dass linguistische Eingabemerkmale nach drei Metriken – Perplexität, BLEU und CHRF3 – die Modellqualität verbessern. Eine Open-Source-Implementierung unseres NMT-Systems ist verfügbar, ebenso wie Beispieldateien und Konfigurationen.