本研究では、事前学習済みのBERT言語モデルを質問生成タスクに活用する方法を検討する。BERTを基盤とした質問生成タスク向けに、3つのニューラルアーキテクチャを提案する。最初のアーキテクチャは、BERTを直接利用するシンプルなアプローチであり、この手法がテキスト生成タスクにおいて抱える欠点を明らかにする。これを受けて、以前の生成結果から情報を順次取り込むようにBERTの利用方法を再構成した、2つの新たなモデルを提案する。これらのモデルは、最新の質問応答データセットSQuADを用いて学習および評価された。実験の結果、我々が提案する最良のモデルは、既存の最良モデルのBLEU-4スコア16.85を22.17まで向上させ、最先端の性能を達成した。