HyperAIHyperAI

Command Palette

Search for a command to run...

進行中の注意メモリネットワークを用いた映画ストーリーの質問応答

Junyeong Kim* Minuk Ma Kyungsu Kim Sungjin Kim Chang D. Yoo

概要

本論文では、映画ストーリーの質問応答(QA)に向けた進行的注意メモリネットワーク(Progressive Attention Memory Network, PAMN)を提案する。映画ストーリーのQAは、視覚的な質問応答(VQA)と比較して以下の2つの点で困難である:(1) 映画は通常1時間以上であり、質問に関連する時間的な部分を特定することが難しい、(2) 動画と字幕の両方があり、異なる質問には異なるモダリティが必要となる。これらの課題を克服するために、PAMNは以下の3つの主要な特徴を持つ:(1) 質問と答えから手がかりを利用し、段階的に無関係な時間的部分を削除する進行的注意機構、(2) 現在の質問に適応的に各モダリティの貢献度を決定する動的モダリティ融合、(3) 各候補答えに対する予測スコアを逐次的に修正する信念訂正回答スキーム。公開されているベンチマークデータセットであるMovieQAおよびTVQAでの実験結果は、これらの各特徴が我々の映画ストーリーQAアーキテクチャであるPAMNに寄与し、最先端の成果を達成するために性能を向上させることを示している。また、PAMNの推論メカニズムの可視化による定性的分析も提供される。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています