事前学習言語モデルにおける埋め込み結合の再考

最新の事前学習言語モデルにおける入力埋め込みと出力埋め込みの重み共有という標準的な手法を見直しました。分離型の埋め込みがモデリングの柔軟性を高めることを示し、これにより多言語モデルの入力埋め込みにおけるパラメータ割り当て効率を大幅に向上させることができます。トランスフォーマー層で入力埋め込みのパラメータを再割り当てすることで、微調整時に同じ数のパラメータを使用しつつ、標準的な自然言語理解タスクでの性能を著しく向上させることができました。また、出力埋め込みに追加の容量を割り当てることで、事前学習後の微調整段階でも持続的な利点があることを示しています。ただし、出力埋め込みは事前学習後に廃棄されます。当社の分析では、より大きな出力埋め込みがモデルの最終層が事前学習タスクに過度に特化することを防ぎ、トランスフォーマー表現がより一般的かつ他のタスクや言語への転移性が高まることを明らかにしています。これらの知見に基づき、微調整段階でのパラメータ数を増やすことなくXTREMEベンチマークで優れた性能を達成するモデルを訓練することが可能となりました。