ホームアクションゲノム：協調的構成的アクション理解

アクション認識に関する従来の研究では、活動を動画内で発生する単一のイベントとして扱うことが一般的であった。近年、原子的アクション（atomic-actions）の組み合わせとしてアクションを定式化するアプローチが、このようなラベルが付与されたデータセットの登場により、アクション理解の向上に有望であることが示されてきた。これにより、これらの構成要素を捉える表現を学習することが可能になった。しかしながら、アクションの構成を拡張し、複数の視点および複数のモダリティのデータを活用した表現学習に関する研究は依然として不足している。この分野の研究を促進するために、我々は「Home Action Genome（HOMAGE）」を提案する。これは、階層的な活動および原子的アクションラベル、さらに高密度なシーン構成ラベルを付与された、複数の視点と複数のモダリティを持つアクションデータセットである。豊富なマルチモーダルかつマルチビュー環境を活用し、構成的アクション要素に配慮した階層的アクション認識のための協調学習フレームワーク「Cooperative Compositional Action Understanding（CCAU）」を提案する。CCAUは、すべてのモダリティにおいて一貫した性能向上を示した。さらに、少量のサンプル（たった1サンプル）でのみ学習させた場合でも、CCAUは少サンプルアクション認識において構成の協調学習の有効性を実証し、28.6%のmAPを達成した。