要約
本研究では、知識グラフにおけるエンティティアライメント（Entity Alignment）というタスクに対して、最新の2つの最先端（SotA）手法について広範な調査を実施した。まず、ベンチマーク評価プロセスを詳細に検討した結果、元の研究で報告された結果が必ずしも比較可能ではないという複数の問題点を特定した。さらに、コミュニティ内で一般的に行われていると推測される、ハイパーパラメータ最適化をテストセット上で直接行う手法が、報告された性能値の情報価値を低下させている可能性を指摘した。そこで、代表的なベンチマークデータセットのサンプルを選定し、それらの特性を詳細に記述した。また、エンティティ表現の初期化方法がモデル性能に大きな影響を与えることから、さまざまな初期化手法を検討した。さらに、すべての手法をすべてのデータセット上で公平に評価できるよう、共通の学習／検証／テスト分割を採用した。評価の結果、いくつかの興味深い知見を得た。多くの場合、SotA手法はベースライン手法よりも優れた性能を示すものの、データにノイズが含まれる状況では困難を示すことが判明した。これは、現実世界の多くの応用において一般的な状況である。また、アブレーションスタディを通じて、従来の認識よりも、SotA手法のさまざまな特徴が良好な性能を達成するためにより重要であることが明らかになった。本研究のコードは、https://github.com/mberr/ea-sota-comparison にて公開されている。