Systèmes de traduction automatique neuronale d'Édimbourg pour WMT 16

Nous avons participé à la tâche de traduction de nouvelles partagée du WMT 2016 en construisant des systèmes de traduction neuronale pour quatre paires de langues, chacune entraînée dans les deux sens : anglais<->tchèque, anglais<->allemand, anglais<->roumain et anglais<->russse. Nos systèmes sont basés sur un encodeur-décodeur avec mécanisme d'attention, utilisant une segmentation sous-mot par BPE (Byte Pair Encoding) pour la traduction à vocabulaire ouvert avec un vocabulaire fixe. Nous avons expérimenté l'utilisation de traductions automatiques inverses du corpus monolingue des Nouvelles comme données d'entraînement supplémentaires, le dropout généralisé et les modèles bidirectionnels cibles. Toutes les méthodes rapportées apportent des améliorations substantielles, et nous observons des gains de 4,3 à 11,2 points BLEU par rapport à nos systèmes de base. Dans l'évaluation humaine, nos systèmes ont été jugés (ex æquo) les meilleurs systèmes contraints pour 7 des 8 directions de traduction dans lesquelles nous avons participé.