자기지도 학습과 레이 트레이싱을 활용한 고정밀 단안 얼굴 재구성: 풍부한 반사 특성 기반 접근

일반 조명 조건에서 단일 이미지로부터 강건한 얼굴 재구성은 여전히 도전적인 과제이다. 딥 신경망 인코더와 미분 가능 렌더링을 결합한 기법들은 기하학, 조명, 반사 특성의 매우 빠른 단일 이미지 재구성 가능성을 열었다. 이러한 방법들은 또한 자기지도 학습(self-supervised) 방식으로 학습함으로써 강건성과 보편화 성능을 향상시킬 수 있다. 그러나 이러한 기법들은 미분 가능한 래스터라이제이션 기반 이미지 형성 모델과 기반 시나리오 파라미터화에 한계를 가지며, 람베르트ian 얼굴 반사 특성에만 제한되며 형상 세부 정보는 부족하다. 최근에는 전통적인 최적화 기반 프레임워크 내에서 레이 트레이싱(ray tracing)이 도입되어 최첨단 성능을 달성하였다. 그러나 최적화 기반 접근법은 본질적으로 느리며, 강건성도 부족하다. 본 논문에서는 이전의 연구들을 바탕으로, 일반 장면에서도 재구성 품질과 강건성을 크게 향상시킨 새로운 방법을 제안한다. 우리는 CNN 인코더와 미분 가능한 레이 트레이서를 결합함으로써, 훨씬 더 고도화된 개인화된 확산 및 반사 알베도, 보다 정교한 조명 모델, 그리고 타당한 자기 그림자 표현을 기반으로 재구성을 가능하게 한다. 이로 인해 어려운 조명 조건을 가진 장면에서도 형상, 외관, 조명 재구성 품질에서 큰 진보를 이룰 수 있다. 일관된 얼굴 특성 재구성 능력을 바탕으로, 본 방법은 조명 재설정 및 자기 그림자 제거와 같은 실용적 응용을 가능하게 한다. 최첨단 기법들과 비교했을 때, 본 연구의 결과는 더 높은 정확도와 방법의 타당성을 입증한다.