MobileBERT：リソース制限デバイス向けのコンパクトなタスク非依存型BERT

自然言語処理（NLP）は、数億ものパラメータを持つ大規模な事前学習モデルを活用することで、近年著しい進展を遂げている。しかし、こうしたモデルはモデルサイズが大きく、遅延も高いため、リソース制約のあるモバイルデバイスへの展開が困難である。本論文では、人気のあるBERTモデルを圧縮・高速化するためのMobileBERTを提案する。元のBERTと同様、MobileBERTはタスクに依存しない設計であり、単純なファインチューニングにより、さまざまな下流NLPタスクに汎用的に適用可能である。基本的にはBERT_LARGEの薄型版であるが、ボトルネック構造を備え、自己注意機構とフィードフォワードネットワークの間のバランスを丁寧に設計している。MobileBERTの訓練には、まず逆ボトルネック構造を組み込んだ特別な教師モデル（inverted-bottleneck incorporated BERT_LARGE）を訓練し、その知識をMobileBERTへ転移する。実証的な研究結果から、MobileBERTはBERT_BASEと比較して4.3倍小さく、5.5倍高速でありながら、有名なベンチマークにおいて競争力のある性能を達成している。GLUEの自然言語推論タスクにおいて、MobileBERTはGLUEスコア77.7（BERT_BASEより0.6低く）を達成し、Pixel 4端末上での遅延は62msであった。SQuAD v1.1/v2.0の質問応答タスクでは、開発データセットにおけるF1スコアが90.0/79.2と、それぞれBERT_BASEより1.5/2.1高い結果を示した。