多モーダル対照的表現学習によるエンティティアライメント

多モーダルエンティティアライメントは、構造的な三項関係とエンティティに関連付けられた画像からなる2つの異なる多モーダル知識グラフ間で同等のエンティティを特定することを目指しています。これまでの多くの研究では、異なるモーダルからの情報をどのように利用し、符号化するかに焦点を当てていますが、モーダルの異質性のために、多モーダル知識をエンティティアライメントに活用することは容易ではありません。本論文では、MCLEA（Multi-modal Contrastive Learning based Entity Alignment model）と呼ばれる多モーダルコントラスティブ学習に基づくエンティティアライメントモデルを提案します。このモデルは、従来の研究とは異なり、タスク指向のモーダル性を考慮し、各エンティティ表現におけるモーダル間の関係をモデル化します。特に、MCLEAはまず複数のモーダルから複数の個別の表現を学習し、その後コントラスティブ学習を行い、モーダル内およびモーダル間の相互作用を共同でモデル化します。広範な実験結果は、MCLEAが監督ありおよび監督なし設定において公開データセット上で最先端のベースラインを超える性能を示していることを示しています。