機械的質問応答（Machine Question Answering）は、自然言語処理（NLP）における基本的かつ挑戦的なタスクである。近年、Bidirectional Encoder Representations from Transformers（BERT）やA Lite BERT（ALBERT）といった事前学習済み文脈埋め込み（Pre-trained Contextual Embeddings: PCE）モデルが、幅広いNLPタスクにおいて優れた性能を発揮したため、注目を集めている。本論文では、SQuAD 2.0（Stanford Question Answering Dataset）におけるモデル性能の向上を目指し、微調整済みのALBERTモデルを基盤とし、その上に追加層（例：アテンション層、RNN層）を組み合わせるアプローチを実装した。ALBERT-baseモデルの上に異なる構造の層を追加した4つのモデル、およびALBERT-xlargeおよびALBERT-xxlargeを基盤とした2つのモデルを構築し、ベースラインモデルであるALBERT-base-v2 + ALBERT-SQuAD-outとの性能を詳細に比較した。最も優れた個別モデルは、ALBERT-xxlarge + ALBERT-SQuAD-outであり、開発セット（dev set）におけるF1スコアで88.435を達成した。さらに、全体の性能向上を図るため、3種類のアンサンブルアルゴリズムを実装した。特に、複数の高性能モデルの出力を組み合わせる重み付き投票アンサンブル法を採用した結果、最終的な結果はスタンフォード大学CS224NのTest PCE SQuADリーダーボードでF1スコア90.123を記録し、首位にランクインした。