摘要
机器阅读理解是自然语言处理领域中一项至关重要且极具挑战性的任务。近年来，预训练上下文嵌入（Pre-trained Contextual Embeddings, PCE）模型，如基于Transformer的双向编码器表示模型（Bidirectional Encoder Representations from Transformers, BERT）以及轻量级BERT模型（A Lite BERT, ALBERT），因其在众多自然语言处理任务中表现出色而受到广泛关注。在本研究中，我们采用了微调后的ALBERT模型，并在其基础上叠加多种附加层（如注意力层、循环神经网络层，RNN层）以提升在斯坦福问答数据集（Stanford Question Answering Dataset, SQuAD 2.0）上的性能表现。我们基于ALBERT-base模型构建了四种不同结构的模型，同时另外构建了两个基于ALBERT-xlarge和ALBERT-xxlarge的模型，并将其性能与基线模型ALBERT-base-v2 + ALBERT-SQuAD-out进行了详细对比。其中表现最优的单模型为ALBERT-xxlarge + ALBERT-SQuAD-out，在验证集上取得了88.435的F1分数。此外，我们还实现了三种不同的集成算法以进一步提升整体性能。通过将多个表现优异模型的预测结果输入至加权投票集成算法中，最终结果在斯坦福CS224N测试集PCE-SQuAD排行榜上位列第一，F1分数达到90.123。