見えないものを可視化する：壁や遮蔽物を透過した行動認識

人々の行動や相互作用を理解するためには通常、それらを見ることに依存しています。視覚データから行動認識を行うプロセスの自動化は、コンピュータビジョン分野において多くの研究が行われてきたテーマです。しかし、暗い場合や、人が遮蔽物や壁の後ろにいる場合にはどうでしょうか？本論文では、壁や遮蔽物を通じて人間の行動を検出し、低照度条件下でも動作可能なニューラルネットワークモデルを紹介します。当該モデルは、無線周波数（RF）信号を入力とし、中間表現として3Dヒューマンスケルトンを生成し、複数人の時間的な行動と相互作用を認識します。入力を中間のスケルトンベース表現に変換することで、当該モデルは視覚に基づくデータセットとRFに基づくデータセット双方から学習でき、両方のタスクが互いに補完しあいます。我々は、可視状況下での視覚に基づく行動認識システムと同等の精度を達成しつつ、人間が見えない場合でも正確に動作することを示しており、これにより今日の視覚に基づく行動認識を超えるシナリオに対応することが可能となります。