紧凑型语言模型预训练数据量的重要性

近年来，语言建模技术的快速发展催生了计算资源需求极高、训练成本庞大的前沿模型。为推动可持续发展实践，本文研究了预训练数据量对紧凑型语言模型性能的影响。我们基于BERT架构，在逐步增加的法语文本数据集上训练了多个模型。通过在法语问答数据集（FQuAD）上进行微调，我们发现仅需100 MB的文本数据即可获得表现良好的模型。此外，研究还表明，当预训练数据量曾一度处于极低水平时，在特定任务语料上进行中间阶段的预训练，并不能带来显著的性能提升。