スコアヤコビアンチェイニング：事前学習済み2Dディフュージョンモデルを3D生成へと拡張する手法

拡散モデルは勾配ベクトル場を予測するように学習する。本研究では、学習された勾配に対して連鎖律（chain rule）を適用し、微分可能なレンダラのヤコビアンを介して拡散モデルのスコアを逆伝播させる手法を提案する。ここで、レンダラの実装としてボクセルレディアンスフィールドを採用する。この設定により、複数のカメラ視点から得られる2次元スコアを統合して3次元スコアを生成し、事前学習済みの2次元生成モデルを3次元データ生成に再利用可能とする。本手法の応用において生じる分布不一致（distribution mismatch）という技術的課題を特定し、その解決のための新規な推定メカニズムを提案する。本アルゴリズムは、大規模なLAIONデータセット上で学習された最新のStable Diffusionを含む、多数の既存拡散画像生成モデルを用いて実験的に評価した。