Le développement récent de grands ensembles de données pour les systèmes de réponse à des questions (QA) a stimulé une quantité considérable de recherches sur les architectures neuronales d'extrémité à extrémité pour le traitement des questions-réponses. Des systèmes de plus en plus complexes ont été conçus sans être comparés à des systèmes basiques neuronaux qui justifieraient leur complexité. Dans ce travail, nous proposons une heuristique simple qui guide le développement de systèmes basiques neuronaux pour la tâche de réponse à des questions extractives. Nous constatons qu'il existe deux éléments essentiels pour construire un système QA neuronal performant : premièrement, la prise en compte des mots-clés de la question lors du traitement du contexte et, deuxièmement, une fonction de composition qui dépasse le simple modèle sac-de-mots, comme les réseaux neuronaux récurrents. Nos résultats montrent que FastQA, un système qui répond à ces deux exigences, peut atteindre des performances très compétitives par rapport aux modèles existants. Nous soutenons que cette découverte surprenante remet en perspective les résultats des systèmes précédents et la complexité des récents ensembles de données QA.