OpenPose: パート・アフィニティ・フィールドを使用したリアルタイムの多人数2D姿勢推定

リアルタイム多人数2D姿勢推定は、画像や動画中の人物を機械が理解するための重要な要素です。本研究では、画像中の複数の人物の2D姿勢を検出するリアルタイム手法を提案します。提案手法では、パーソンアフィニティフィールド（Part Affinity Fields: PAFs）と呼ばれる非パラメトリック表現を使用し、画像内の各個人の身体部位を学習して関連付ける方法を採用しています。このボトムアップシステムは、画像中に含まれる人数に関わらず、高精度とリアルタイム性能を達成します。従来の研究では、PAFsと身体部位位置推定が訓練段階で同時に改良されていました。しかし、本研究ではPAFsのみの改良が、PAFsと身体部位位置の両方を改良するよりも大幅に実行時間性能と精度が向上することを示しています。また、公開した内部注釈付き足データセットに基づく初めての身体と足のキーポイント検出器の組み合わせも提案します。この組み合わせ検出器は、順次実行する場合よりも推論時間を短縮しつつ、各コンポーネントの精度を維持することが確認されました。本研究は最終的にOpenPoseというオープンソースの多人数2D姿勢検出システム（身体、足、手、顔面キーポイント含む）のリリースにつながりました。