要約
私たちは、Graveら（2017）の適応ソフトマックスを可変容量の入力表現に拡張したニューラル言語モデルの適応入力表現を導入します。入力層と出力層を分解する方法や、単語、文字、またはサブワード単位をモデル化するかどうかについて、いくつかの選択肢があります。私たちは自己注意型アーキテクチャに対して、一般的な選択肢を系統的に比較しました。実験結果は、適応埋め込みを装備したモデルが、一般的な文字入力CNNよりも訓練速度が2倍以上速く、パラメータ数も少ないことを示しています。WikiText-103ベンチマークでは18.7のペルプレキシティを達成し、これまでに最も良い公表結果と比べて10.5のペルプレキシティ改善しました。また、Billion Wordベンチマークでは23.02のペルプレキシティを達成しました。