본 연구에서는 사전 훈련된 BERT 언어 모델을 활용하여 질문 생성 작업을 수행하는 방법을 탐구한다. 우리는 BERT 기반의 세 가지 신경망 아키텍처를 제안하며, 질문 생성 작업에 적용한다. 첫 번째 모델은 BERT를 직접 사용하는 단순한 접근 방식으로, BERT를 텍스트 생성 작업에 직접 적용할 경우 나타나는 한계를 드러낸다. 이를 바탕으로, 이전에 디코딩된 결과로부터 정보를 순차적으로 가져올 수 있도록 BERT 사용 방식을 재구성한 두 가지 모델을 제안한다. 제안한 모델들은 최신의 질문-응답 데이터셋인 SQuAD를 기반으로 훈련 및 평가된다. 실험 결과, 가장 우수한 모델은 기존 최고 성능 모델의 BLEU-4 점수를 16.85에서 22.17로 향상시키며, 현재까지의 최고 성능을 달성하였다.