La réponse à des questions par extraction (ExQA) est une tâche essentielle en traitement du langage naturel. L'approche dominante en ExQA consiste à représenter les jetons de la séquence d'entrée (question et passage) à l'aide d'un transformateur pré-entraîné, puis à utiliser deux vecteurs d'interrogation appris pour calculer des distributions sur les positions de départ et d'arrivée de l'intervalle de réponse. Ces vecteurs d'interrogation manquent du contexte des entrées, ce qui peut constituer un goulot d'étranglement pour les performances du modèle. Pour remédier à ce problème, nous proposons \textit{DyREx}, une généralisation de l'approche \textit{vanilla} dans laquelle nous calculons dynamiquement les vecteurs d'interrogation en fonction de l'entrée, grâce à un mécanisme d'attention traversant des couches de transformateur. Des observations empiriques montrent que notre approche améliore de manière cohérente les performances par rapport à l'approche standard. Le code et les fichiers associés pour exécuter les expériences sont disponibles à l'adresse \url{https://github.com/urchade/DyReX}.