HyperAIHyperAI

Command Palette

Search for a command to run...

敵対的マルチモーダルドメイン転移によるビデオレベル感情分析

Wang Yanan; Wu Jianming; Furumai Kazuaki; Wada Shinya; Kurihara Satoshi

概要

ビデオレベルの感情分析は、複数モダリティ間の感情差を捉えることができる識別性の高いマルチモーダル表現をシステムが獲得する必要がある、非常に困難なタスクである。しかし、異なるモダリティ間で分布が多様であり、統一されたマルチモーダルラベルが単一モダリティ学習に常に適応できるわけではないため、単一モダリティ表現間の距離差が増大し、識別性の高いマルチモーダル表現の学習を阻害する。本論文では、システムの性能をさらに向上させるために、より識別性の高いマルチモーダル表現を獲得するため、変分自己符号化器(VAE)をベースとした敵対的マルチモーダルドメイン転送(VAE-AMDT)を提案し、これをマルチアテンションモジュールと共同で学習することで、単一モダリティ表現間の距離差を低減する。まず、変分自己符号化器(VAE)を用いて視覚的、言語的、音声的表現が共通の分布に従うように調整し、その後、敵対的学習を導入してすべての単一モダリティ表現を統合埋め込み空間に転送する。その結果、自己アテンション、クロスアテンション、トリプルアテンションを組み合わせたマルチアテンションモジュールを用いて、時間的・モダリティ的視点から重要な感情表現を強調しながら、さまざまなモダリティを統合埋め込み空間上で融合する。本手法は、MOSIデータセットにおいて最先端技術比でF1スコアを3.6%向上させ、MOSEIデータセットでは2.9%向上させ、ビデオレベルの感情分析における識別性の高いマルチモーダル表現を獲得する有効性を実証した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
敵対的マルチモーダルドメイン転移によるビデオレベル感情分析 | 記事 | HyperAI超神経