2ヶ月前

タスク固有の知識をBERTから単純なニューラルネットワークに抽出する

Raphael Tang; Yao Lu; Linqing Liu; Lili Mou; Olga Vechtomova; Jimmy Lin
タスク固有の知識をBERTから単純なニューラルネットワークに抽出する
要約

自然言語処理の文献において、ニューラルネットワークはますます深く複雑になっています。この傾向の最近の代表例は、BERTやELMo、GPTを含む深い言語表現モデルです。これらの進展により、以前の世代の浅いニューラルネットワークが言語理解のために陳腐化したという見方が広まっています。しかし、本論文では、アーキテクチャの変更や外部学習データ、追加入力特徴量なしで、基本的かつ軽量なニューラルネットワークを競争力のあるものにできる可能性を示します。私たちは、最先端の言語表現モデルであるBERTから単層のBiLSTMおよびその双子型(Siamese)バージョンに知識を蒸留する方法を提案します。パラフレージング、自然言語推論、感情分類などの複数のデータセットにおいて、約100倍少ないパラメータと15倍短い推論時間でELMoと同等の結果を得ることに成功しました。