Apprentissage de séquence à séquence comme optimisation par recherche en faisceau

Le modèle Sequence-to-Sequence (seq2seq) est rapidement devenu un outil NLP général important, s'avérant efficace pour de nombreuses tâches de génération de texte et d'étiquetage de séquences. Le seq2seq s'appuie sur la modélisation profonde des langues et hérite de sa remarquable précision dans l'estimation des distributions locales des mots suivants. Dans ce travail, nous présentons un modèle et une méthode d'entraînement par recherche en faisceau, basés sur les travaux de Daume III et Marcu (2005), qui étendent le seq2seq pour apprendre des scores globaux de séquence. Cette approche structurée évite les biais classiques associés à l'entraînement local et unifie la perte d'entraînement avec l'utilisation au moment du test, tout en conservant l'architecture éprouvée du seq2seq et son approche d'entraînement efficace. Nous montrons que notre système surpasses un système seq2seq basé sur l'attention hautement optimisé ainsi que d'autres méthodes de référence sur trois tâches différentes de séquence à séquence : ordonnancement des mots, analyse syntaxique et traduction automatique.