3D 객체를 예측하기 위한 보간 기반 미분 렌더러 학습

많은 머신 러닝 모델이 이미지를 처리하지만, 이미지는 3D 기하학이 빛과 상호작용하여 형성되는 2D 투영이라는 사실을 무시하고 있습니다. 이 과정을 렌더링이라고 합니다. ML 모델이 이미지 형성을 이해하는 것은 일반화를 위한 핵심 요소일 수 있습니다. 그러나 렌더링 파이프라인은 필수적인 래스터라이제이션 단계에서 이산 할당 연산을 포함하기 때문에 미분 가능하지 않아, 그래디언트 기반의 머신 러닝 기술에 접근하기 어렵습니다. 본 논문에서는 모든 픽셀에 대해 그래디언트를 해석적으로 계산할 수 있는 {\emph DIB-R}라는 미분 가능한 렌더링 프레임워크를 제안합니다. 우리의 접근 방식의 핵심은 전경 래스터라이제이션을 로컬 속성의 가중치 보간으로, 배경 래스터라이제이션을 전역 기하학의 거리 기반 집합으로 viewing 하는 것입니다. 이 방법은 다양한 조명 모델을 통해 꼭짓점 위치, 색상, 법선 벡터, 조명 방향 및 텍스처 좌표에 대한 정확한 최적화를 가능하게 합니다. 우리는 이 접근 방식을 두 가지 머신 러닝 응용 분야에서 소개합니다: 단일 이미지 3D 객체 예측 및 3D 텍스처 객체 생성이며, 이들 모두 2D 감독만으로 훈련되었습니다. 우리의 프로젝트 웹사이트는 다음과 같습니다: https://nv-tlabs.github.io/DIB-R/