초록
차분 가능 렌더링(differentiable rendering)은 단일 영상 기반 3D 재구성에 매우 성공적인 기술로, 주어진 일치하는 시점에서의 렌더링된 3D 재구성 객체의 이미지와 실제 이미지 사이의 픽셀 기반 손실을 이용하여 3D 형태의 파라미터를 최적화하는 방식을 채택한다. 기존의 렌더링 모델은 렌더링 단계, 가시성 처리, 그리고 조명 모델 평가를 포함해야 하는데, 본 논문의 주요 목표는 이러한 단계들을 제거함에도 불구하고, 기존의 최신 기술 수준의 모델들과 동등하거나 더 우수한 재구성 결과를 도출할 수 있음을 보여주는 것이다. 먼저, Insafutdinov & Dosovitskiy가 사용한 것과 동일한 CNN 아키텍처를 활용하여 점군 형태와 자세 예측을 수행한다. 다음으로, 재구성된 3D 점군의 투영이 실제 객체의 실루엣을 얼마나 잘 커버하는지를 평가하는 새로운 효과적인 손실 함수를 제안한다. 이후, 재구성된 점군을 3D 메쉬로 변환하기 위해 포아송 표면 재구성(Poisson Surface Reconstruction)을 사용한다. 마지막으로, 특정 3D 메쉬에 대해 GAN 기반 텍스처 매핑을 수행하여 단일 2D 이미지에서 텍스처가 적용된 3D 메쉬를 생성한다. 제안한 방법은 ShapeNet, CUB-200-2011, Pascal3D+ 등 다양한 데이터셋에서 평가되었으며, 성능, 정확도, 학습 시간 측면에서 모든 다른 지도 및 비지도 방법, 그리고 3D 표현 방식들을 초월하는 최신 기술 수준의 성능을 달성하였다.