스코어 자코비안 체이닝: 사전 훈련된 2D 디퓨전 모델을 3D 생성으로 확장하기

확산 모델은 기울기 벡터장을 예측하도록 학습한다. 본 연구에서는 학습된 기울기에 연쇄 법칙(chain rule)을 적용하고, 미분 가능한 렌더러의 야코비안(Jacobian)을 통해 확산 모델의 스코어를 역전파하는 방식을 제안한다. 이 렌더러는 복셀 반사도 필드(voxel radiance field)로 구현된다. 이 구조는 여러 카메라 시점에서 얻은 2차원 스코어를 종합하여 3차원 스코어로 변환하며, 사전에 학습된 2차원 모델을 3차원 데이터 생성에 재사용할 수 있게 된다. 본 연구에서는 이러한 응용에서 발생하는 분포 불일치(distribution mismatch)라는 기술적 과제를 식별하고, 이를 해결하기 위한 새로운 추정 기법을 제안한다. 제안한 알고리즘은 최근에 출시된 대규모 LAION 데이터셋에 기반하여 학습된 Stable Diffusion을 포함한 다양한 상용 확산 이미지 생성 모델에서 실험적으로 검증되었다.