2ヶ月前
Concurrence-Aware Long Short-Term Sub-Memories for Person-Person Action Recognition 競合認識型長期短期サブメモリーネットワークによる人間行動認識
Xiangbo Shu

要約
最近、Long Short-Term Memory(LSTM)は、単一人物の動作認識における個々の動態をモデル化するために人気のある選択となっています。これは、LSTMがさまざまな動的コンテキストにおいて時間情報をモデル化する能力があるためです。しかし、既存のRNNモデルは、個人間の相互作用の時間的な動態を単純に個々の活動動態を組み合わせたり、全体としてモデリングしたりすることに焦点を当てているだけであり、個人間の相互作用が時間とともにどのように変化するかという相互関連動態を見落としています。この問題に対処するため、私たちは新しいConcurrence-Aware Long Short-Term Sub-Memories(Co-LSTSM)を提案します。これは、2人の相互作用している人物をカバーするバウンディングボックス間で長期的な相互関連動態をモデル化することを目指しています。具体的には、各フレームに対して2つのサブメモリユニットが個々の運動情報を保存し、新たな共通メモリセルを通じてこれらの2つのサブメモリユニットから交互に関連する運動情報を選択的に統合して保存する並行LSTMユニットが存在します。BITおよびUTデータセットでの実験結果は、Co-LSTSMが最先端の手法と比較して優れていることを示しています。