要約
深層ニューラルネットワークによる3Dデータの生成は、研究コミュニティにおいてますます注目を集めています。既存の多くの研究では、ボリュームグリッドや画像群などの規則的な表現が用いられていますが、これらの表現は3D形状の幾何学変換に対する自然な不変性を隠してしまうだけでなく、他の多くの問題も抱えています。本論文では、単一画像からの3D再構成という問題に焦点を当て、出力形式として点群座標を生成する直接的な方法を取り上げます。この問題には、入力画像に対する正解形状が曖昧であるという独特で興味深い課題が伴います。このような非伝統的な出力形式と正解形状の固有の曖昧性に基づいて、我々は革新的かつ効果的なアーキテクチャ、損失関数、および学習パラダイムを設計しました。最終的な解決策は条件付き形状サンプラーであり、入力画像から複数の妥当な3D点群を予測することができます。実験結果では、我々のシステムは単一画像に基づく3D再構成ベンチマークにおいて最先端の手法を上回るだけでなく、3D形状補完でも優れた性能を示し、複数の妥当な予測を行う能力も有望であることが確認されました。