3Dオブジェクトの予測を学習する：補間ベースの微分可能レンダラーを使用して

多くの機械学習モデルは画像を処理しますが、画像が3次元幾何学と光の相互作用によって形成される2次元投影であるという事実を無視しています。この過程はレンダリングと呼ばれます。MLモデルに画像形成の理解をさせることが汎化能力の向上に重要であるかもしれませんが、基本的なラスタライゼーションステップが離散的な割り当て操作を含むため、レンダリングパイプラインは非微分可能であり、勾配に基づく機械学習技術にはほとんどアクセスできません。本論文では、{\emph DIB-R}（Differentiable Implicit Bridge-Renderer）という微分可能なレンダリングフレームワークを提案します。このフレームワークにより、画像内のすべてのピクセルに対して解析的に勾配を計算することが可能になります。当方針の鍵となるのは、前景ラスタライゼーションを局所特性の重み付き補間として捉え、背景ラスタライゼーションを全体幾何学の距離に基づく集約として捉えることです。当方針により、頂点位置、色、法線ベクトル、光源方向およびテクスチャ座標について様々な照明モデルを通じて正確な最適化を行うことができます。当方針を2つの機械学習アプリケーションで示します：単一画像からの3Dオブジェクト予測と3Dテクスチャ付きオブジェクト生成です。これらは2次元監督のみを使用して訓練されています。プロジェクトウェブサイトは以下の通りです：https://nv-tlabs.github.io/DIB-R/