Alignement monotone pour une attention en ligne et en temps linéaire

Les modèles de réseaux neuronaux récurrents dotés d'un mécanisme d'attention ont fait leurs preuves en étant extrêmement efficaces sur une grande variété de problèmes de séquence à séquence. Cependant, le fait que les mécanismes d'attention douce effectuent un passage sur l'ensemble de la séquence d'entrée lors de la production de chaque élément de la séquence de sortie exclut leur utilisation dans des contextes en ligne et entraîne une complexité temporelle quadratique. Partant du constat que l'alignement entre les éléments des séquences d'entrée et de sortie est monotone dans de nombreux problèmes d'intérêt, nous proposons une méthode différentiable de bout en bout pour apprendre des alignements monotones qui, au moment du test, permettent le calcul en ligne et linéaire de l'attention. Nous validons notre approche sur des problèmes de résumé de phrases, de traduction automatique et de reconnaissance vocale en ligne, obtenant des résultats compétitifs par rapport aux modèles existants de séquence à séquence.