MoSAR: 단일 이미지 반감독 학습 모델로서, 가시화 가능한 그림자 기반 아바타 재구성에 사용됨

포트레이트 이미지로부터 아바타를 재구성하는 것은 멀티미디어 분야에서 다양한 응용이 가능하지만, 여전히 도전적인 연구 과제로 남아 있다. 단일 이미지에서 반사율 맵과 기하학적 구조를 추출하는 것은 조건이 불충분한 문제(ill-posed problem)이며, 기하학적 구조 복원은 일대다 매핑 문제에 해당하며, 반사율과 조명 정보는 서로 분리하기가 어렵다. 정밀한 기하학적 구조와 반사율 정보는 라이트 스테이지(Light Stage)와 같은 통제된 환경에서 획득할 수 있지만, 이러한 방식으로 대규모 데이터셋을 수집하는 것은 매우 비용이 크다. 또한, 이러한 유형의 데이터만으로 학습을 수행할 경우, 실제 환경에서 촬영된 이미지(인더와일드, in-the-wild)에 대한 일반화 능력이 낮아진다. 이를 해결하기 위해 우리는 단일 이미지에서 3D 아바타를 생성하는 MoSAR(Monocular Shading and Reflectance) 기법을 제안한다. 본 연구에서는 라이트 스테이지 데이터셋과 인더와일드 데이터셋을 동시에 활용하는 반감독 학습 방식을 제안하여 일반화 성능을 향상시킨다. 이는 새로운 미분 가능(shading) 조명 모델을 통해 구현된다. 제안한 방법은 인상적인 얼굴 특성(내재적 특성)을 효과적으로 분리하여 재조명 가능한 아바타를 생성함을 보여준다. 결과적으로 MoSAR는 기존 최첨단 기법보다 더 풍부한 피부 반사율 맵을 추정하고, 보다 현실감 있는 아바타를 생성할 수 있다. 또한, 10,000명의 피험자에 대해 확대된 규모로 산출된 내재적 얼굴 특성(반사, 반사광, 환경 음영, 투명도 맵 포함)을 제공하는 공개 데이터셋인 FFHQ-UV-Intrinsics를 새로 도입한다. 본 프로젝트 웹사이트 및 데이터셋은 다음 링크에서 확인할 수 있다: https://ubisoft-laforge.github.io/character/mosar/