IBMEA: 多モーダルエンティティアライメントのための変分情報ボトルネックの探索

多モーダルエンティティアライメント（MMEA）は、エンティティが関連する画像と結びついている多モーダル知識グラフ（MMKGs）間で同等のエンティティを特定することを目指しています。既存の大多数の研究では、自動的に学習された融合モジュールに大きく依存して多モーダル情報を統合しており、MMEAのために冗長な情報を明示的に抑制することは稀です。この課題に対処するために、我々は変分情報ボトルネックを用いた多モーダルエンティティアライメント（IBMEA）を探求します。これは、エンティティ表現を生成する際にアライメントに関連する情報を強調し、アライメントとは無関係な情報を抑制することに重点を置いています。具体的には、モーダル固有のエンティティ表現を確率分布として生成するために多モーダル変分エンコーダーを開発しました。次に、4つのモーダル固有の情報ボトルネック正則化項を提案し、モーダル固有のエンティティ表現の洗練において誤った手がかりを制限します。最後に、すべての洗練されたモーダル固有表現を統合し、MMKG間でのエンティティ類似性を向上させてMMEAを達成するために、モーダルハイブリッド情報コントラスティブ正則化項を提案しました。我々は2つのクロスKGデータセットと3つのバイリンガルMMEAデータセットで広範な実験を行いました。実験結果は、我々のモデルが一貫して従来の最先端手法よりも優れていることを示しており、低リソースおよび高ノイズデータシナリオでも有望かつ堅牢な性能を発揮していることが確認されました。