HyperAIHyperAI

Command Palette

Search for a command to run...

MMLatch:マルチモーダルセンチメント分析のためのボトムアップ・トップダウン統合

Georgios Paraskevopoulos Efthymios Georgiou Alexandros Potamianos

概要

現在のマルチモーダル融合に向けたディープラーニング手法は、高レベルおよび中レベルの潜在的モダリティ表現(ラテ・フォージュンまたはミッド・フォージュン)を下位から統合するアプローチ、あるいは低レベルの感覚入力を直接統合するアプローチ(イアリー・フォージュン)に依存している。一方、人間の知覚モデルでは、上位からの統合(トップダウン・フォージュン)の重要性が強調されており、ここでは高レベルな表現が感覚入力の知覚に影響を与える、すなわち認知が知覚に作用するというメカニズムが重要である。しかし、現在のディープラーニングモデルではこのようなトップダウンの相互作用は捉えられていない。本研究では、ネットワークの学習過程におけるフォワードパスにおいてフィードバック機構を用いることで、トップダウンのクロスモダリティ相互作用を捉えるニューラルアーキテクチャを提案する。提案手法は、各モダリティに対して高レベルな表現を抽出し、その表現を用いて感覚入力をマスクすることで、トップダウン特徴マスクを実現する。本手法をCMU-MOSEIデータセットにおけるマルチモーダル感情認識タスクに適用した結果、既存の定評あるMulTモデルおよび強力なラテ・フォージュンベースラインに対して一貫した性能向上を達成し、最先端の結果を獲得した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
MMLatch:マルチモーダルセンチメント分析のためのボトムアップ・トップダウン統合 | 記事 | HyperAI超神経