HyperAIHyperAI

Command Palette

Search for a command to run...

NeRD: 画像コレクションからのニューラル反射分解

Mark Boss¹ Raphael Braun¹ Varun Jampani² Jonathan T. Barron² Ce Liu² Hendrik P.A. Lensch¹

概要

シーンを形状、反射率、照明に分解することは、コンピュータビジョンとグラフィックスにおいて挑戦的かつ重要な問題です。特に、照明が実験室条件下の単一光源ではなく、制約のない環境照明である場合、この問題はより困難になります。最近の研究では、暗黙的な表現を使用して物体の放射輝度場をモデル化できることが示されていますが、これらの技術の多くは視点合成には適していますが、再照明には対応していません。さらに、これらの放射輝度場を評価することはリソースと時間のかかる作業です。本稿では、物理ベースレンダリングを使用してシーンを空間変動型BRDF(Bidirectional Reflectance Distribution Function)材質特性に分解するニューラル反射分解(NeRD)手法を提案します。既存の手法とは異なり、我々の入力画像は異なる照明条件下で撮影することができます。また、学習した反射体積を再照明可能なテクスチャ付きメッシュに変換する技術も提案しており、新しい照明条件下での高速リアルタイムレンダリングが可能となります。我々は合成データセットと実際のデータセットを用いた実験を通じて、提案手法の潜在能力を示しました。画像コレクションから高品質な再照明可能な3Dアセットを得ることができました。データセットとコードはプロジェクトページで公開されています: https://markboss.me/publication/2021-nerd/


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています