2ヶ月前
DISN: 高品質な単一視点3D再構築のための深層暗黙表面ネットワーク
Qiangeng Xu; Weiyue Wang; Duygu Ceylan; Radomir Mech; Ulrich Neumann

要約
単一視点画像から3D形状を再構築することは、長年にわたる研究課題となっています。本論文では、DISN(Deep Implicit Surface Network)を提案します。これは、2D画像から高品質で詳細豊富な3Dメッシュを生成するために、基礎となる符号付き距離場を予測するネットワークです。DISNは、全体的な画像特徴を利用するだけでなく、各3D点の2D画像上の投影位置を予測し、画像特徴マップから局所特徴を抽出します。全体と局所の特徴を組み合わせることにより、特に詳細が豊富な領域での符号付き距離場の予測精度が大幅に向上します。当該研究において、DISNは単一視点画像から3D形状に存在する穴や薄い構造などの詳細を一貫して捉える最初の方法であると認識されています。DISNは、合成画像および実際の画像から様々な形状カテゴリに対して単一視点再構築性能において最先端の成果を達成しています。コードはhttps://github.com/xharlie/DISN で入手可能です。補足資料はhttps://xharlie.github.io/images/neurips_2019_supp.pdf で確認できます。