個々の行動ラベルなしでスケルトンから学習グループ活動を抽出する

人間の行動を理解するためには、個々の行動を認識するだけでなく、おそらく複雑な集団行動および相互作用をモデル化する必要がある。階層モデルは集団行動認識において最高の性能を発揮するが、それにはアクターレベルでの細粒度な個別行動のラベル付けが必要となる。本論文では、骨格データのみを用いて、シーケンスレベルでの集団行動ラベルのみで、最先端のエンドツーエンドシステムを学習可能であることを示す。実験の結果、個別行動の監視情報なしに学習されたモデルは著しく性能が劣ることを確認した。一方で、任意の事前学習済み特徴抽出器から擬似ラベルを計算可能であり、その場合でも最終的な性能は比較的高い水準に達することを示した。さらに、慎重に設計されたシンプルなポーズのみを用いるアーキテクチャは、より複雑なマルチモーダルアプローチに対しても、自己教師ありバージョンにおいても非常に競争力のある結果を示した。