進行中の注意メモリネットワークを用いた映画ストーリーの質問応答

本論文では、映画ストーリーの質問応答（QA）に向けた進行的注意メモリネットワーク（Progressive Attention Memory Network, PAMN）を提案する。映画ストーリーのQAは、視覚的な質問応答（VQA）と比較して以下の2つの点で困難である：(1) 映画は通常1時間以上であり、質問に関連する時間的な部分を特定することが難しい、(2) 動画と字幕の両方があり、異なる質問には異なるモダリティが必要となる。これらの課題を克服するために、PAMNは以下の3つの主要な特徴を持つ：(1) 質問と答えから手がかりを利用し、段階的に無関係な時間的部分を削除する進行的注意機構、(2) 現在の質問に適応的に各モダリティの貢献度を決定する動的モダリティ融合、(3) 各候補答えに対する予測スコアを逐次的に修正する信念訂正回答スキーム。公開されているベンチマークデータセットであるMovieQAおよびTVQAでの実験結果は、これらの各特徴が我々の映画ストーリーQAアーキテクチャであるPAMNに寄与し、最先端の成果を達成するために性能を向上させることを示している。また、PAMNの推論メカニズムの可視化による定性的分析も提供される。