Relphormer：知識グラフ表現のための関係性グラフTransformer

トランスフォーマーは、自然言語処理、コンピュータビジョン、グラフマイニングなど広範な分野で顕著な性能を達成している。しかし、知識グラフ（KG）表現の分野では、従来のトランスフォーマー構造は、翻訳距離パラダイムが主流を占める領域において、期待される改善をもたらしていない。特に、従来のトランスフォーマーは、知識グラフに内在する構造的・意味的多様性を適切に捉えることが困難である。この課題に対処するため、本研究では知識グラフ表現に特化した新しいトランスフォーマーの変種である「Relphormer」を提案する。具体的には、文脈に応じて動的にサブグラフシーケンスをサンプリングする「Triple2Seq」を導入し、構造的・意味的不均一性の問題を緩和する。さらに、関係情報を効果的にエンコードしつつ、エンティティおよび関係内の意味情報を保持する構造強化型自己注意機構を提案する。また、マスクされた知識モデリングを用いて、知識グラフ完成、質問応答、推薦など、さまざまなKGベースのタスクに適用可能な汎用的な知識グラフ表現学習を実現する。6つのデータセットにおける実験結果から、Relphormerがベースライン手法と比較して優れた性能を発揮することが示された。コードは、https://github.com/zjunlp/Relphormer にて公開されている。