Les humains génèrent des réponses en s'appuyant sur des dépendances sémantiques et fonctionnelles, notamment les relations de coreférence, entre les éléments d'un dialogue et leur contexte. Dans cet article, nous étudions la correspondance entre une réponse et son contexte multi-tours en exploitant des informations de dépendance fondées entièrement sur l'attention. Notre approche s'inspire de l'architecture Transformer récemment proposée pour la traduction automatique (Vaswani et al., 2017), et nous étendons le mécanisme d'attention de deux manières. Premièrement, nous construisons des représentations de segments textuels à différentes granularités à l'aide exclusivement d'attention auto-attention empilée. Deuxièmement, nous tentons d'extraire les paires de segments véritablement correspondants à l'aide d'une attention croisée entre le contexte et la réponse. Nous introduisons conjointement ces deux types d'attention au sein d'un même réseau neuronal uniforme. Des expériences menées sur deux tâches de sélection de réponse à plusieurs tours à grande échelle montrent que le modèle proposé dépasse significativement les modèles de pointe actuels.