MobileBERT：一种面向资源受限设备的紧凑型无任务依赖BERT

自然语言处理（Natural Language Processing, NLP）近年来在大规模预训练模型的推动下取得了显著进展，这些模型通常包含数亿参数。然而，这类模型往往存在模型规模庞大、延迟高等问题，难以在资源受限的移动设备上部署。为此，本文提出了一种名为MobileBERT的轻量化模型，旨在压缩并加速主流的BERT模型。与原始BERT一样，MobileBERT具有任务无关性，可通过简单的微调广泛应用于各类下游NLP任务。本质上，MobileBERT是BERT_LARGE的一个精简版本，其结构中引入了瓶颈（bottleneck）设计，并在自注意力机制与前馈网络之间实现了精心平衡。为了训练MobileBERT，我们首先构建了一个专门设计的教师模型——一种采用倒置瓶颈结构的BERT_LARGE模型；随后，通过知识蒸馏（knowledge transfer）的方式，将该教师模型的知识迁移至MobileBERT。实验结果表明，相较于BERT_BASE，MobileBERT的模型大小缩小了4.3倍，推理速度提升了5.5倍，同时在多个知名基准测试中仍保持了具有竞争力的性能表现。在GLUE自然语言推理任务上，MobileBERT取得了77.7的GLUE得分（比BERT_BASE低0.6），在Pixel 4手机上的延迟仅为62毫秒。在SQuAD v1.1/v2.0问答任务上，MobileBERT在开发集上的F1分数分别达到90.0和79.2，分别比BERT_BASE高出1.5和2.1。