UniHPE: コントラスティブ学習を用いた統一された人間姿勢推定へ向けた研究

最近、複数のモダリティから情報を統合する効果的な知覚技術の開発に対する関心が高まっています。これは、多様な情報源から得られた特徴を整合させることで、より大規模なデータセットや制約条件を用いた効率的な学習を可能にするとともに、各モダリティに含まれる豊富な情報を活用することを目指しています。2次元および3次元の人間姿勢推定（HPE）は、コンピュータビジョンにおける重要な知覚タスクであり、行動認識、ヒューマン・コンピュータ・インタラクション、オブジェクト追跡など、多くの下流応用があります。しかし、画像と2次元/3次元人間姿勢の相関関係を対照的手法を使用して明確に研究した例は限られています。本論文では、UniHPEという統一された人間姿勢推定パイプラインを提案します。このパイプラインは、2次元人間姿勢推定、リフティングベースの3次元人間姿勢推定、画像ベースの3次元人間姿勢推定という3つのモダリティからの特徴を同じフレームワーク内で整合させます。さらに、2つ以上のモダリティを同時に整合させるために、新しい特異値に基づく対照的学習損失関数を提案します。これにより異なるモダリティがよりよく整合され、性能が向上します。評価結果では、UniHPEはHuman3.6MデータセットでのMPJPE 50.5mmと3DPWデータセットでのPAMPJPE 51.6mmという優れた性能指標を達成しました。我々が提案する手法は、コンピュータビジョン分野の進歩に大きな可能性を持ちつつ、様々な応用への貢献も期待されます。