SkeleTR：野生環境における骨格ベースの行動認識へ向けて

我々は、骨格に基づく行動認識のための新規フレームワークであるSkeleTRを提案する。従来の研究が主に制御された環境に焦点を当てていたのに対し、本研究では、人物の数が変動し、人物間の相互作用の形態も多様な「野外（in-the-wild）」シナリオに着目している。SkeleTRは二段階のパラダイムに基づいて動作する。まず、グラフ畳み込みを用いて各骨格シーケンスにおける個体内部の骨格動態をモデル化し、次にスタックされたTransformerエンコーダを用いて、野外における行動認識に重要な人物間の相互作用を捉える。不正確な骨格の対応（association）による悪影響を軽減するため、SkeleTRは相対的に短い骨格シーケンスを入力とし、シーケンス数を増加させる。統一的な解決策として、SkeleTRは動画レベルの行動分類、インスタンスレベルの行動検出、グループレベルの行動認識といった複数の骨格ベースの行動認識タスクに直接適用可能である。さらに、異なる行動タスクおよびデータセット間での転移学習や共同学習を可能にし、性能の向上を実現している。さまざまな骨格ベースの行動認識ベンチマーク上で評価した結果、SkeleTRは最先端（state-of-the-art）の性能を達成した。