La question-réponse automatisée constitue une tâche essentielle mais difficile dans le domaine du traitement automatique du langage naturel (TALN). Récemment, les modèles à embeddings contextuels pré-entraînés (PCE), tels que Bidirectional Encoder Representations from Transformers (BERT) et A Lite BERT (ALBERT), ont suscité un intérêt croissant en raison de leurs performances remarquables sur une large gamme de tâches de TALN. Dans notre étude, nous avons exploité des modèles ALBERT ajustés (fine-tuned) et implémenté des couches supplémentaires (par exemple, une couche d’attention, une couche RNN) au-dessus d’eux afin d’améliorer les performances sur le Stanford Question Answering Dataset (SQuAD 2.0). Nous avons conçu quatre modèles différents en ajoutant diverses couches au modèle ALBERT-base, ainsi que deux autres modèles basés sur ALBERT-xlarge et ALBERT-xxlarge. Nous avons comparé leurs performances à celles de notre modèle de référence, ALBERT-base-v2 + ALBERT-SQuAD-out, en détail. Le meilleur modèle individuel obtenu est ALBERT-xxlarge + ALBERT-SQuAD-out, qui a atteint un score F1 de 88,435 sur l’ensemble de validation. En outre, nous avons mis en œuvre trois algorithmes d’ensemblage distincts afin d’améliorer encore les performances globales. En intégrant les résultats de plusieurs modèles les plus performants dans notre algorithme d’ensemblage par vote pondéré, notre résultat final se classe en tête du classement Stanford CS224N Test PCE SQuAD, avec un score F1 de 90,123.