19日前

単一の2D画像から3Dモデルを生成するための効果的な損失関数:レンダリング不要

Nikola Zubić, Pietro Liò
単一の2D画像から3Dモデルを生成するための効果的な損失関数:レンダリング不要
要約

微分可能レンダリング(Differentiable rendering)は、単一ビューからの3D再構成(Single-View 3D Reconstruction)に非常に成功した手法である。現在のレンダラーは、再構成された3Dオブジェクトのレンダリング画像と、対応する視点から取得された真値画像(ground-truth images)との間のピクセル単位の損失に基づいて、3D形状のパラメータを最適化する。これらのモデルは、レンダリングステップ、可視性の処理、およびシェーディングモデルの評価を必要とする。本研究の主な目的は、これらのステップを回避しつつも、既存の最先端モデルと同等、あるいはそれ以上の再構成性能を達成できることを示すことにある。まず、InsafutdinovとDosovitskiyが用いたのと同じCNNアーキテクチャを、点群形状の予測および姿勢推定に適用する。次に、再構成された3D点群の投影が真値オブジェクトの輪郭(silhouette)をどれだけ適切に覆っているかを評価する、新規かつ効果的な損失関数を提案する。その後、再構成された点群をポアソン表面再構成(Poisson Surface Reconstruction)を用いて3Dメッシュに変換する。最後に、特定の3Dメッシュに対してGANベースのテクスチャマッピングを実行し、単一の2D画像からテクスチャ付き3Dメッシュを生成する。本手法は、ShapeNet、CUB-200-2011、Pascal3D+など複数のデータセット上で評価され、従来の教師あり・非教師あり手法および3D表現すべてを上回る最先端の性能を達成した。その評価は、性能、精度、学習時間の観点からも優れており、既存のカテゴリ特化型再構成手法を凌駕する成果を示した。