Quo Vadis, Skeleton Action Recognition ?

本稿では、骨格ベースの人体行動認識分野における現在の研究動向および将来の前線について検討する。野生環境下における骨格行動認識の研究を進めるために、Kinetics-700という大規模な行動データセットから収集されたRGB動画をもとに、手作業で選別・3次元ポーズアノテーションが付与されたSkeletics-152というデータセットを導入する。さらに、最近提案されたMimeticsデータセットをもとに、文脈外の行動を含む研究を進めるため、Skeleton-Mimeticsというデータセットを新たに提案する。また、人気のあるソーシャルゲーム「ダム・チャーディング（Dumb Charades）」のYouTube動画および解釈的ダンスパフォーマンスの動画をキャプション形式でアノテーションしたMetaphoricsデータセットも紹介する。本研究では、NTU-120データセット上で最先端モデルの性能をベンチマークし、多層的な評価を実施する。新たに導入されたデータセット上でNTU-120のトップパフォーマーを評価した結果から、野生環境下の行動が引き起こす課題とドメインギャップが明らかになった。総合的に、本研究は既存のアプローチおよびデータセットの強みと限界を明らかにし、導入したデータセットを通じて、人体行動認識分野における新たな前線の実現を可能にする。