スパースな潜在型付けを用いた言語モデルの事前学習

近年の大型事前学習言語モデル（PLMs）は、多様な下流タスクにおいて著しい成果を上げている。しかし、多数の言語モデルの事前学習目的はテキストの再構成にのみ焦点を当てており、文の潜在的な意味的構造を解釈可能かつ意味的に明確な表現として学習するという点には十分な配慮がなされていない。本論文では、新しい事前学習目的である「スパース潜在型分類（Sparse Latent Typing）」を提案することで、言語モデルが文のより深い理解を獲得できるようにする。この手法により、モデルは多様な潜在的タイプを持つ文レベルのキーワードをスパースに抽出することが可能となる。実験結果から、本モデルが外部知識を一切用いずに、自己教師あり学習の枠組みで解釈可能な潜在型カテゴリを学習できることを示した。さらに、この目的で事前学習された言語モデルは、教師ありおよび少サンプル設定の情報抽出関連タスクにおいて、顕著な性能向上を達成した。本研究のコードは公開されており、以下より入手可能である：https://github.com/renll/SparseLT。