HyperAIHyperAI

Command Palette

Search for a command to run...

MEAformer: マルチモーダルエンティティアライメントトランスフォーマーのメタモーダリティハイブリッド向け

概要

多モーダルエンティティアライメント(MMEA)は、関連する画像を持つ異なる知識グラフ(KGs)間で同一のエンティティを発見することを目指しています。しかし、現在のMMEAアルゴリズムは、多モーダルエンティティ表現のためにKGレベルでのモーダル融合戦略に依存しており、異なるエンティティのモーダル嗜好の変動を無視しているため、ぼやけた画像や関係などのモーダルノイズに対する堅牢性が損なわれています。本論文では、MEアフォーマー(MEAformer)というメタモーダルハイブリッド用の多モーダルエンティティアライメントトランスフォーマー手法を提案します。この手法は、各エンティティレベルでのより詳細なモーダル融合とアライメントを行うために、モーダル間の相互相関係数を動的に予測します。実験結果は、当モデルが監督学習、非監督学習、反復学習、低リソース設定など複数の学習シナリオにおいて最先端(SOTA)の性能を達成するだけでなく、パラメータ数が少なく、実行効率が高く、解釈可能性があることを示しています。当研究コードは https://github.com/zjukg/MEAformer で公開されています。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています