SqueezeBERT：コンピュータビジョンは、NLPにおける効率的なニューラルネットワークについて何を教えることができるか？

毎日、人間は数百億ものメッセージを読み書きしている。さらに、大規模なデータセットや強力な計算システム、そしてより優れたニューラルネットワークモデルの普及により、自然言語処理（NLP）技術は、これらのメッセージの理解、校正、整理において顕著な進展を遂げている。その結果、NLP技術をウェブユーザー、ソーシャルネットワーク、企業など多様な応用分野に展開する大きな機会が生まれている。特に、スマートフォンやその他のモバイルデバイスは、NLPモデルを大規模に展開する上で極めて重要なプラットフォームであると考えられる。しかし、現在の高精度なNLPニューラルネットワークモデル、たとえばBERTやRoBERTaは、極めて計算コストが高く、BERT-baseはPixel 3スマートフォン上でテキストスニペットの分類に1.7秒もかかる。本研究では、グループ化畳み込み（grouped convolutions）などの手法がコンピュータビジョンネットワークにおいて顕著な高速化をもたらしたことを観察し、その多くの技術がNLP分野のニューラルネットワーク設計者によって採用されていないことにも着目した。本研究では、自己注意（self-attention）層内のいくつかの演算をグループ化畳み込みに置き換える方法を示し、これを新たなネットワークアーキテクチャ「SqueezeBERT」として実装した。SqueezeBERTは、Pixel 3上でBERT-baseよりも4.3倍高速に動作しつつ、GLUEテストセットにおいて競争力のある精度を達成した。SqueezeBERTのコードは、公開予定である。