La littérature existante sur la réponse aux questions (Question Answering, QA) se concentre principalement sur l'originalité algorithmique, l'augmentation de données ou encore l'utilisation de modèles pré-entraînés de plus en plus volumineux, tels que XLNet ou RoBERTa. Par ailleurs, de nombreux systèmes figurant sur les classements de QA ne sont pas accompagnés de documentation de recherche permettant une reproduction fiable de leurs expériences. Dans ce papier, nous présentons les composants algorithmiques tels que l’attention sur l’attention, combinés à des stratégies d’augmentation de données et d’ensembling, qui ont permis d’atteindre des performances de pointe sur des jeux de données de référence comme SQuAD, voire une performance supérieure à celle des humains. À la différence de ces résultats antérieurs, lorsque nous évaluons sur le jeu de données récemment proposé Natural Questions, nous constatons qu’une approche extrêmement simple basée sur le transfert d’apprentissage à partir de BERT surpasse le système état-de-l’art précédent, entraîné sur 4 millions d’exemples supplémentaires, de 1,9 point F1. L’ajout de stratégies d’ensembling améliore encore ce résultat de 2,3 points F1.