不確実な欠落と曖昧な視覚モダリティを再考する - 多モダリティエンティティアライメントにおける取り組み

エンティティアライメント（EA）の重要な拡張として、マルチモーダルエンティティアライメント（MMEA）は、関連する視覚情報を活用して異なる知識グラフ（KGs）間で同一のエンティティを識別することを目指しています。しかし、既存のMMEA手法は主にマルチモーダルエンティティ特徴の融合パラダイムに焦点を当てており、視覚画像の欠損と内在的な曖昧性という一般的な現象がもたらす課題を軽視しています。本論文では、視覚モーダルの不完全性についてさらに分析し、提案したデータセットMMEA-UMVM上で最新のMMEAモデルをベンチマーク評価します。このデータセットでは、バイリンガルとモノリンガルをカバーするアライメントKGsの種類と、標準的（非反復的）および反復的な学習パラダイムを使用してモデル性能を評価します。研究結果によると、モーダルの不完全性に対処する際、モデルはモーダルノイズへの過学習に陥りやすく、高い欠損率において性能が揺れ動いたり低下したりすることが示されました。これは、追加のマルチモーダルデータを含めることによってEAに悪影響を与える可能性があることを証明しています。これらの課題に対処するために、我々はUMAEAという堅牢なマルチモーダルエンティティアライメント手法を導入します。UMAEAは不確実な欠損と曖昧な視覚モーダルに対応しており、97つのベンチマーク分割全てにおいて最先端（SOTA）の性能を達成し、限られたパラメータ数と時間消費で既存のベースラインを大幅に上回りつつ、他のモデルが持つ制約を効果的に緩和しています。当該コードおよびベンチマークデータはhttps://github.com/zjukg/UMAEAで公開されています。