HyperAIHyperAI

Command Palette

Search for a command to run...

時系列姿勢推定の学習:ラベルが希薄なビデオから

Gedas Bertasius Christoph Feichtenhofer Du Tran Jianbo Shi Lorenzo Torresani

概要

現代のビデオにおける多人物姿勢推定手法は、大量の詳細なアノテーションを必要とします。しかし、ビデオのすべてのフレームをラベリングすることはコストがかかり、労力が大きいという問題があります。このため、詳細なアノテーションの必要性を軽減するために、スパースアノテーション(kフレームごと)を持つ訓練用ビデオを活用して、時間的な詳細な姿勢伝播と推定を行うPoseWarperネットワークを提案します。ラベリングされたフレームAと未ラベリングのフレームBのビデオフレームペアが与えられた場合、我々のモデルはフレームBから得られる特徴量を使用し、変形畳み込みを通じてAとB間の姿勢ワーピングを暗黙的に学習することで、フレームAでの人物姿勢を予測するように訓練します。我々は、訓練されたPoseWarperがいくつかの応用に活用できることを示しています。まず、推論時にはネットワークの適用方向を逆転させることで、手動でラベリングされたフレームから未ラベリングのフレームへ姿勢情報を伝播させることが可能です。これにより、わずかな手動ラベリング済みフレームのみで全体のビデオに対する姿勢アノテーションを生成することが可能になります。光学フローに基づく現代的なラベル伝播手法と比較すると、我々のワーピング機構は遥かにコンパクト(6M対39Mパラメータ)であり、かつより正確(mAP 88.7% 対 83.8%)です。また、我々はポーズ推定器の精度向上のために、手動ラベルに加えて我々が伝播したポーズデータを使用して拡張データセット上で訓練を行うことができることも示しています。最後に、推論時に近傍フレームからの時間的なポーズ情報を集約するためにPoseWarperを利用することができます。これにより、PoseTrack2017およびPoseTrack2018データセットにおいて最先端のポーズ検出結果を達成することが可能になりました。コードは以下のURLで公開されています: https://github.com/facebookresearch/PoseWarper.


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています