In dieser Studie untersuchen wir die Anwendung des vortrainierten BERT-Sprachmodells zur Lösung von Frageerzeugungsaufgaben. Wir stellen drei neuronale Architekturen vor, die auf BERT aufbauen und speziell für Frageerzeugungsaufgaben entwickelt wurden. Die erste Architektur basiert auf einer direkten Verwendung von BERT, wobei sich deren Mängel bei der Textgenerierung zeigen. Daraufhin schlagen wir zwei weitere Modelle vor, bei denen die BERT-Verwendung in einer sequenziellen Weise neu strukturiert wird, um Informationen aus vorherigen Dekodierungsergebnissen zu nutzen. Unsere Modelle werden anhand des aktuellen Frage-Antwort-Datensatzes SQuAD trainiert und evaluiert. Die Experimente zeigen, dass unser bestes Modell eine state-of-the-art-Leistung erzielt und den BLEU-4-Score bestehender Top-Modelle von 16,85 auf 22,17 verbessert.