HyperAIHyperAI

Command Palette

Search for a command to run...

PoTion:行動認識のためのポーズモーション表現

Jérôme Revaud Vasileios Choutas Cordelia Schmid Philippe Weinzaepfel

概要

現在の最先端の行動認識手法の多くは、外見(appearance)と運動(motion)を独立して処理する二重ストリームアーキテクチャに依存している。本論文では、これらを統合的に考慮することで、行動認識に豊かな情報を得られると主張する。我々は、特定の意味論的キーポイントの動きを滑らかに表現する新しい表現手法を提案する。このキーポイントとして人体関節を用い、提案手法を「Pose moTion」(PoTion)と命名する。具体的には、最先端の人体ポーズ推定器を用いて各フレームにおける人体関節のヒートマップを抽出し、それらの確率マップを時間的に集約することでPoTion表現を構築する。この集約は、動画クリップ内の各フレームの相対時間に応じてそれぞれのヒートマップを色分けし、それらを合算することで実現される。この固定サイズの表現は、浅い畳み込みニューラルネットワーク(CNN)を用いた行動分類に適している。実験評価の結果、PoTionは他の最先端のポーズ表現を上回る性能を示した。さらに、従来の外見ストリームおよび運動ストリームと補完的な関係にあることも明らかになった。最近の二重ストリームI3Dアプローチ[5]とPoTionを組み合わせることで、JHMDB、HMDB、UCF101の各データセットにおいて、現時点で最も高い性能を達成した。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています