PALT：知識グラフ補完のためのパラメータ軽量な言語モデルの転移

本稿では、事前学習された言語モデル（LM）を用いた知識グラフ（KG）補完のためのパラメータ軽量な転移学習手法を提案する。微調整（fine-tuning）のようにすべてのLMパラメータを変更するのではなく、元のLMパラメータを固定したまま、少数の新しいパラメータのみを最適化するアプローチを採用する。この手法は、KG補完を「穴埋め」タスクとして再定式化し、元のLMの上にパラメータ軽量なエンコーダを導入することで実現する。実験の結果、微調整に比べてはるかに少ないパラメータを調整するにもかかわらず、LMは多くのタスクに対して非自明な転移性能を示し、既存の最先端手法と同等の性能を達成することが示された。例えば、KG補完ベンチマークにおいて、全パラメータの1%のみを調整することで、従来の完全微調整手法を上回る結果を得た。コードおよびデータセットは、\url{https://github.com/yuanyehome/PALT} にて公開されている。