Dans cette étude, nous explorons l’utilisation du modèle linguistique pré-entraîné BERT pour résoudre des tâches de génération de questions. Nous proposons trois architectures neurales basées sur BERT pour ces tâches. La première consiste en une utilisation directe de BERT, qui met en évidence les limites liées à l’application directe de BERT à la génération de texte. À la suite de cette observation, nous introduisons deux autres modèles en réorganisant l’utilisation de BERT selon une approche séquentielle, permettant ainsi d’intégrer les résultats décodés précédents. Nos modèles sont entraînés et évalués sur le jeu de données récent de question-réponse SQuAD. Les résultats expérimentaux montrent que notre meilleur modèle atteint des performances de pointe, faisant passer le score BLEU-4 des modèles existants les plus performants de 16,85 à 22,17.