Command Palette

Search for a command to run...

4ヶ月前

マルチモーダルシアンセイネットワークによるエンティティアライメント

{Enhong Chen Nicholas Jing Yuan Zhefeng Wang Han Wu Tong Xu Zhi Li Liyi Chen}

要約

マルチモーダル知識グラフ(MMKG)の急成長に伴い、複数の独立したデータソースから得られるMMKGを統合するためのマルチモーダルエンティティアライメント技術への需要が高まっている。しかし、従来の手法は単モーダル特徴埋め込みのヒューリスティックな統合に依存しており、マルチモーダル知識に内在するモーダル間の有用な手がかり(inter-modal cues)が大きく無視されがちである。この問題に対処するため、本論文では、異なるMMKG間のエンティティをアライメントするための新規なマルチモーダルシメイズネットワーク(MSNEA)を提案する。本手法では、モーダル間効果(inter-modal effect)の活用により、マルチモーダル知識を包括的に活用できる。具体的には、まずエンティティの視覚的特徴、関係的特徴、属性特徴を抽出し、それぞれのMMKGに対して包括的なエンティティ表現を生成するためのマルチモーダル知識埋め込みモジュールを設計する。このプロセスにおいて、視覚的特徴を用いて関係的特徴の学習をガイドし、アライメントに有用な属性を適応的に注目(attention)する重みを割り当てるためのモーダル間強化機構を導入する。その後、弱いモーダルが全体に過剰な影響を与えるのを回避しつつ、モーダル間強化融合を実現するためのマルチモーダルコントラスティブ学習モジュールを設計する。公開データセット2つにおける実験結果から、提案手法MSNEAは、競合するベースラインと比較して顕著な性能向上を達成し、最先端の性能を実現することが示された。

ベンチマーク

ベンチマーク方法論指標
multi-modal-entity-alignment-on-umvm-dbp-frMSNEA (w/o surf)
Hits@1: 0.583
multi-modal-entity-alignment-on-umvm-dbp-frMSNEA (w/o surf & w/o iter)
Hits@1: 0.557
multi-modal-entity-alignment-on-umvm-dbp-jaMSNEA (w/o surf & w/o iter)
Hits@1: 0.541
multi-modal-entity-alignment-on-umvm-dbp-jaMSNEA (w/o surf)
Hits@1: 0.557
multi-modal-entity-alignment-on-umvm-dbp-zhMSNEA (w/o surf)
Hits@1: 0.648
multi-modal-entity-alignment-on-umvm-dbp-zhMSNEA (w/o surf & w/o iter)
Hits@1: 0.609
multi-modal-entity-alignment-on-umvm-oea-d-wMSNEA (w/o surf & w/o iter)
Hits@1: 0.800
multi-modal-entity-alignment-on-umvm-oea-d-wMSNEA (w/o surf)
Hits@1: 0.809
multi-modal-entity-alignment-on-umvm-oea-d-w-1MSNEA (w/o surf)
Hits@1: 0.862
multi-modal-entity-alignment-on-umvm-oea-enMSNEA (w/o surf & w/o iter)
Hits@1: 0.692
multi-modal-entity-alignment-on-umvm-oea-enMSNEA (w/o surf)
Hits@1: 0.699
multi-modal-entity-alignment-on-umvm-oea-en-1MSNEA (w/o surf)
Hits@1: 0.788
multi-modal-entity-alignment-on-umvm-oea-en-1MSNEA (w/o surf & w/o iter)
Hits@1: 0.753

AI で AI を構築

アイデアからローンチまで — 無料の AI 共同コーディング、すぐに使える環境、最適価格の GPU で AI 開発を加速。

AI 共同コーディング
すぐに使える GPU
最適価格
今すぐ始める

Hyper Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
マルチモーダルシアンセイネットワークによるエンティティアライメント | 論文 | HyperAI超神経