HyperAIHyperAI

Command Palette

Search for a command to run...

単一画像から3次元の人間と物体の空間配置を認識する

Jason Y. Zhang Sam Pepose Hanbyul Joo Deva Ramanan Jitendra Malik Angjoo Kanazawa

概要

我々は、単一の野生環境で撮影された画像から、人間と物体の空間配置および形状を全体的に一貫した3Dシーンに推論する方法を提案します。特に注目すべきは、本手法がシーンレベルや物体レベルでの3D監督情報なしのデータセット上で動作することです。我々の主要な洞察は、人間と物体を統合して考慮することで、「3D常識」制約が生まれ、曖昧性を解消できるという点にあります。具体的には、データから物体サイズの分布を学習するスケール損失;物体姿勢を最適化するための被塞感覚シルエット再投影損失(occlusion-aware silhouette re-projection loss);そして人間と物体の相互作用を捉える人間-物体相互作用損失を導入しています。これらの制約が実際の3D空間構成の可能性空間を大幅に削減することを実証的に検証しました。本手法は、人間が大型物体(自転車、オートバイ、サーフボードなど)や手に持つ物体(ラップトップ、テニスラケット、スケートボードなど)と相互作用している挑戦的な野生環境での画像に対して適用し、その有効性を示しています。さらに、本手法の人間-物体配置復元能力について定量評価を行い、この分野における未解決課題も概説しています。プロジェクトウェブページは https://jasonyzhang.com/phosa でご覧いただけます。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
単一画像から3次元の人間と物体の空間配置を認識する | 記事 | HyperAI超神経