초록
2D 이미지 뒤에 있는 3D 세계를 모델링하기 위해 어떤 3D 표현이 가장 적합할까요? 다각형 메시는 그 컴팩트성과 기하학적 특성 때문에 유망한 후보입니다. 그러나 신경망을 사용하여 2D 이미지에서 다각형 메시를 모델링하는 것은 쉽지 않습니다. 이는 메시를 이미지로 변환하거나 렌더링하는 과정에서 라스터라이제이션(Rasterization)이라는 이산화 연산이 포함되어 있어 역전파가 방해되기 때문입니다. 따라서 본 연구에서는 라스터라이제이션의 근사 그래디언트를 제안하여 렌더링을 신경망에 통합할 수 있도록 합니다. 이 렌더러를 사용하여 실루엣 이미지를 통해 단일 이미지 3D 메시 재구성을 수행하였으며, 우리 시스템은 기존의 복셀(voxel) 기반 접근법을 능가하였습니다. 또한, 2D 감독 하에 처음으로 2D-3D 스타일 전송 및 3D 딥드림(DeepDream)과 같은 그래디언트 기반 3D 메시 편집 작업을 수행하였습니다. 이러한 응용 사례들은 메시 렌더러를 신경망에 통합한 잠재력과 제안된 렌더러의 효과성을 보여줍니다.