HyperAIHyperAI

Command Palette

Search for a command to run...

幾何学的ポーズアフォーダンス:シーン制約付き3Dヒューマンポーズ

Zhe Wang Liyan Chen Shaurya Rathore Daeyun Shin Charless Fowlkes

概要

単一画像からの人的姿勢の完全3D推定は、多くの最近の進歩にもかかわらず依然として難題である。本論文では、シーンの幾何学的な情報についての強い事前知識が姿勢推定精度を向上させるという仮説を検討する。この仮説を実証的に扱うために、我々は新しいGeometric Pose Affordance(幾何学的姿勢アフォーダンス)\textbf{Geometric Pose Affordance(幾何学的姿勢アフォーダンス)}Geometric Pose Affordance(幾何学的姿勢アフォーダンス)データセットを構築した。このデータセットには、人々が豊かな3次元環境と相互作用する多視点画像が含まれている。商用モーションキャプチャシステムを使用して、姿勢の金標準推定値を収集し、シーン自体の正確な幾何学的3D CADモデルを作成した。既存の画像から姿勢推定を行うフレームワークにシーン制約に関する事前知識を注入するために、我々は新しい視点ベースのシーン幾何学表現であるmulti-layer depth map(マルチレイヤー深度マップ)\textbf{multi-layer depth map(マルチレイヤー深度マップ)}multi-layer depth map(マルチレイヤー深度マップ)を導入する。これは、各カメラビュー線方向に沿って複数の表面出入り点を簡潔に符号化するためにマルチヒット・レイトレーシングを利用している。我々はマルチレイヤー深度情報を姿勢推定に統合するための2つの異なるメカニズムを提案する:1つ目は2D姿勢を完全3Dに引き上げるために使用される符号化されたレイ特徴量としての入力、2つ目は学習モデルが幾何学的に整合性のある姿勢推定値を好むように促す微分可能な損失関数である。実験結果から、これらの手法が特に遮蔽や複雑なシーン幾何学がある場合に3D姿勢推定精度を向上させることができることが示された。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています