Command Palette
Search for a command to run...
映画ストーリー理解のための読み書きメモリネットワーク
映画ストーリー理解のための読み書きメモリネットワーク
Seil Na Sangho Lee Jisung Kim Gunhee Kim
概要
我々は、大規模かつ多モーダルな映画ストーリー理解のための質問応答タスクを実行する新しいメモリネットワークモデルであるRead-Write Memory Network (RWMN)を提案します。RWMNモデルの主な焦点は、複数の畳み込み層から構成される読み出しネットワークと書き込みネットワークを設計することです。これにより、メモリの読み出しと書き込み操作が高容量かつ柔軟性を持つことができます。既存のメモリ拡張型ネットワークモデルでは、各メモリスロットが独立したブロックとして扱われていますが、我々の多層CNNの使用により、モデルは連続的なメモリセルをチャンクとして読み書きすることができます。これは、隣接するメモリブロック間にしばしば強い相関関係があるため、連続的なストーリーを表現する上でより合理的です。評価のために、我々は提案したモデルをMovieQAベンチマークの6つのタスクすべてに適用し、特に視覚的質問応答タスクにおいて最良の精度を達成しました。我々のモデルは、ストーリー内の内容だけでなく、キャラクター間の関係やその行動の理由など、より抽象的な情報もよりよく理解する可能性を示しています。