HyperAIHyperAI

Command Palette

Search for a command to run...

UniHPE: コントラスティブ学習を用いた統一された人間姿勢推定へ向けた研究

Zhongyu Jiang Wenhao Chai Lei Li Zhuoran Zhou Cheng-Yen Yang Jenq-Neng Hwang

概要

最近、複数のモダリティから情報を統合する効果的な知覚技術の開発に対する関心が高まっています。これは、多様な情報源から得られた特徴を整合させることで、より大規模なデータセットや制約条件を用いた効率的な学習を可能にするとともに、各モダリティに含まれる豊富な情報を活用することを目指しています。2次元および3次元の人間姿勢推定(HPE)は、コンピュータビジョンにおける重要な知覚タスクであり、行動認識、ヒューマン・コンピュータ・インタラクション、オブジェクト追跡など、多くの下流応用があります。しかし、画像と2次元/3次元人間姿勢の相関関係を対照的手法を使用して明確に研究した例は限られています。本論文では、UniHPEという統一された人間姿勢推定パイプラインを提案します。このパイプラインは、2次元人間姿勢推定、リフティングベースの3次元人間姿勢推定、画像ベースの3次元人間姿勢推定という3つのモダリティからの特徴を同じフレームワーク内で整合させます。さらに、2つ以上のモダリティを同時に整合させるために、新しい特異値に基づく対照的学習損失関数を提案します。これにより異なるモダリティがよりよく整合され、性能が向上します。評価結果では、UniHPEはHuman3.6MデータセットでのMPJPE 50.5mmと3DPWデータセットでのPAMPJPE 51.6mmという優れた性能指標を達成しました。我々が提案する手法は、コンピュータビジョン分野の進歩に大きな可能性を持ちつつ、様々な応用への貢献も期待されます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
UniHPE: コントラスティブ学習を用いた統一された人間姿勢推定へ向けた研究 | 記事 | HyperAI超神経