要約
レンダリングは、2Dビジョンと3Dシーンの間のギャップを埋めるために、画像形成の物理プロセスをシミュレーションします。このようなレンダラーを逆転させることで、2D画像から3D情報を推論する学習アプローチを考えることができます。しかし、標準的なグラフィックスレンダラーには、レンダリングプロセスを微分可能にし、学習できるようにする障壁となる基本的な離散化ステップであるラスタライゼーションが含まれています。最先端の微分可能なレンダラーとは異なり、それらはバックプロパゲーションでのレンダリング勾配を近似するだけですが、我々は（1）直接色付けされたメッシュを使用して微分可能な関数でレンダリングを行い、（2）シルエット、シェーディング、カラー画像などのさまざまな形式の画像表現からメッシュ頂点およびその属性に効率的な監督信号をバックプロパゲーションさせる真正な微分可能なレンダリングフレームワークを提案します。我々のフレームワークの鍵となるのは、レンダリングを描画ピクセルに対するすべてのメッシュ三角形の確率的寄与を融合する集約関数として捉える新しい定式化です。この定式化により、我々のフレームワークは以前の最先端技術では達成できなかった被覆されたり遠方に位置したりする頂点に勾配を流すことが可能になります。提案されたレンダラーを使用することで、3D非教師あり単視点再構成において質的および量的に大幅な改善が得られることを示しています。実験結果もまた、既存の微分可能なレンダラーにとって依然として難易度が高い画像ベース形状適合の課題に対処できる能力があることを証明しています。