Les systèmes de dialogue orientés tâche de bout en bout souffrent généralement du défi d'intégrer des bases de connaissances. Dans cet article, nous proposons un modèle différentiable de bout en bout novateur et simple appelé mémoire-à-séquence (Mem2Seq) pour résoudre ce problème. Mem2Seq est le premier modèle génératif neuronal qui combine l'attention multi-étapes sur les mémoires avec l'idée de réseau pointeur. Nous montrons empiriquement comment Mem2Seq contrôle chaque étape de génération, et comment son mécanisme d'attention multi-étapes aide à apprendre les corrélations entre les mémoires. De plus, notre modèle est assez général sans nécessiter des conceptions spécifiques complexes à la tâche. Par conséquent, nous démontrons que Mem2Seq peut être entraîné plus rapidement et atteindre des performances de pointe sur trois jeux de données différents de dialogues orientés tâche.