要約
最近の深層学習の進歩により、ニューラルモデルが実際の応用に求められるようになりました。実際の応用では、しばしばリソースが限られている状況で高精度を維持する必要があるため、これらの課題に対処することが求められています。本論文では、自然言語処理（NLP）におけるニューラルモデルの核心である単語埋め込みについて取り上げ、次元を大幅に削減しつつ精度を損なわない新しい埋め込み蒸留フレームワークを提案します。また、複数の教師モデルを使用して効率的な学生モデルを訓練する新たな蒸留アンサンブル手法も提案しています。当手法においては、教師モデルは訓練中のみ役割を持ち、デコーディング時には学生モデルが独自に動作し、教師モデルからの支援を受けないため、他の一般的なアンサンブル手法よりも80倍高速かつ軽量になります。すべてのモデルは7つの文書分類データセットで評価され、ほとんどのケースで教師モデルに対して著しい優位性を示しました。我々の分析は、蒸留によって単語埋め込みがどのように変換されるかについて洞察を与え、ニューラルモデルを使用したアンサンブル手法の将来方向を示唆しています。