
렌더링은 이미지 형성의 물리적 과정을 시뮬레이션하여 2D 비전과 3D 장면 사이의 간극을 메우는 역할을 합니다. 이러한 렌더러를 역으로 변환함으로써, 2D 이미지에서 3D 정보를 추론하는 학습 접근 방식을 생각해볼 수 있습니다. 그러나 표준 그래픽스 렌더러는 렌더링 과정이 미분 가능하지 않도록 하는 근본적인 이산화 단계인 라스터라이제이션(Rasterization)을 포함하고 있어, 학습이 불가능하게 만듭니다. 기존의 최신 미분 가능한 렌더러들이 백 프로파게이션에서 렌더링 그래디언트를 근사적으로만 계산하는 것과 달리, 우리는 (1) 직접 미분 가능한 함수를 사용하여 색칠된 메시(Colorized Mesh)를 렌더링하고 (2) 실루엣(Silhouette), 음영(Shading), 색상 이미지 등 다양한 형태의 이미지 표현으로부터 메시 정점과 그 속성에 효율적인 감독 신호를 역전파할 수 있는 진정한 의미의 미분 가능한 렌더링 프레임워크를 제안합니다. 우리 프레임워크의 핵심은 모든 메시 삼각형이 렌더링된 픽셀에 대한 확률적 기여도를 융합하는 집약 함수(Aggregation Function)로 렌더링을 해석하는 새로운 공식입니다. 이러한 공식 덕분에 우리의 프레임워크는 이전 최신 기술들로는 이루어질 수 없었던 가려진 및 먼 거리의 정점에 그래디언트를 전달할 수 있습니다. 제안된 렌더러를 사용하면, 질적 및 양적으로 3D 비감독 단일 시점 재구성을 크게 개선할 수 있음을 보였습니다. 실험 결과 또한 우리의 접근 방식이 이미지 기반 모양 맞춤(Image-based Shape Fitting)에서 여전히 복잡한 작업들을 처리할 수 있다는 것을 입증하였습니다. 이러한 작업들은 기존의 미분 가능한 렌더러들에게도 여전히 쉽지 않은 문제입니다.