Apprentissage de représentations de phrases à l'aide d'un encodeur-décodeur RNN pour la traduction automatique statistique

Dans cet article, nous proposons un nouveau modèle de réseau neuronal appelé RNN Encoder-Decoder, composé de deux réseaux neuronaux récurrents (RNN). Un premier RNN encode une séquence de symboles en une représentation vectorielle de longueur fixe, tandis que le second décode cette représentation en une autre séquence de symboles. L'encodeur et le décodeur du modèle proposé sont entraînés conjointement pour maximiser la probabilité conditionnelle d'une séquence cible étant donné une séquence source. Les performances d'un système de traduction automatique statistique s'améliorent empiriquement en utilisant les probabilités conditionnelles des paires de phrases calculées par l'encodeur-décodeur RNN comme caractéristique supplémentaire dans le modèle log-linéaire existant. Sur le plan qualitatif, nous montrons que le modèle proposé apprend une représentation sémantiquement et syntaxiquement pertinente des phrases linguistiques.