高速かつ簡易なソフトマックスの混合とBPEおよびハイブリッド-LightRNNを用いた言語生成

Mixture of Softmaxes (MoS) は、Softmax ベースのモデルの表現力の制限を解決する効果があることが示されています。しかし、その利点にもかかわらず、複数の Softmax を計算する必要があるため、MoS は実際には大きなメモリ消費と計算時間によって制約されています。本研究では、実用的なアプリケーションにおいて MoS の力を解き放つために、改善された単語符号化スキームを調査しました。これにより、ボキャブラリーのサイズを効果的に削減し、メモリと計算負荷を軽減することができます。私たちは BPE と提案した Hybrid-LightRNN が、パフォーマンスの低下なく MoS の時間とメモリ消費を半分にできる改良された符号化メカニズムであることを示しました。MoS を用いることで、IWSLT 2014 ドイツ語-英語コーパスで 1.5 BLEU スコアの向上を達成し、画像キャプション生成では 0.76 CIDEr スコアの向上を達成しました。さらに、より大規模な WMT 2014 機械翻訳データセットにおいても、私たちの MoS 強化型 Transformer は英語-ドイツ語で 29.5 BLEU スコア、英語-フランス語で 42.1 BLEU スコアを達成し、それぞれ単一 Softmax Transformer よりも 0.8 BLEU スコアと 0.4 BLEU スコア高い結果を出し、WMT 2014 英語-ドイツ語タスクにおける最先端の成果を達成しました。