MoCoSA: 構造強化事前学習言語モデルを用いた知識グラフ補完のためのモーメンタムコントラスト

知識グラフ補完（KGC）は、知識グラフ内の事実について推論を行い、欠落しているリンクを自動的に推測することを目指しています。既存の手法は主に構造ベースまたは説明ベースに分類されます。一方、構造ベースの手法はエンティティ埋め込みを使用して知識グラフ内の関係事実を効果的に表現しますが、構造情報が限られているため意味豊かな実世界のエンティティには対応できず、未見のエンティティへの汎化も困難です。他方、説明ベースの手法は事前学習言語モデル（PLM）を活用してテキスト情報を理解します。未見のエンティティに対する強靭性を示していますが、大規模なネガティブサンプリングには苦戦し、構造ベースの手法に比べて性能が劣ることがあります。これらの課題に対処するため、本論文では構造拡張型事前学習言語モデルを使用したモーメンタムコントラストによる知識グラフ補完手法（MoCoSA）を提案します。この手法により、適応可能な構造エンコーダーを通じてPLMが構造情報を認識することが可能になります。学習効率の向上のために、モーメンタムハードネガティブサンプリングと関係内ネガティブサンプリングを提案しました。実験結果は、平均逆順位（MRR）において当手法が最先端の性能を達成していることを示しており、WN18RRデータセットでは2.5%、OpenBG500データセットでは21%の改善が見られました。