MEAformer: マルチモーダルエンティティアライメントトランスフォーマーのメタモーダリティハイブリッド向け

多モーダルエンティティアライメント（MMEA）は、関連する画像を持つ異なる知識グラフ（KGs）間で同一のエンティティを発見することを目指しています。しかし、現在のMMEAアルゴリズムは、多モーダルエンティティ表現のためにKGレベルでのモーダル融合戦略に依存しており、異なるエンティティのモーダル嗜好の変動を無視しているため、ぼやけた画像や関係などのモーダルノイズに対する堅牢性が損なわれています。本論文では、MEアフォーマー（MEAformer）というメタモーダルハイブリッド用の多モーダルエンティティアライメントトランスフォーマー手法を提案します。この手法は、各エンティティレベルでのより詳細なモーダル融合とアライメントを行うために、モーダル間の相互相関係数を動的に予測します。実験結果は、当モデルが監督学習、非監督学習、反復学習、低リソース設定など複数の学習シナリオにおいて最先端（SOTA）の性能を達成するだけでなく、パラメータ数が少なく、実行効率が高く、解釈可能性があることを示しています。当研究コードは https://github.com/zjukg/MEAformer で公開されています。