빠른 이중층 신경망을 이용한 단일 이미지 기반 실감적인 헤드 아바타 합성

우리는 단일 사진에서 헤드 아바타를 생성하는 신경 렌더링 기반 시스템을 제안한다. 본 연구의 접근법은 사람의 외형을 두 개의 레이어로 분해하여 모델링한다. 첫 번째 레이어는 소규모 신경망에 의해 자세에 따라 변하는 거친 이미지이며, 두 번째 레이어는 자세에 독립적인 텍스처 이미지로, 고주파 세부 정보를 포함한다. 이 텍스처 이미지는 사전에 오프라인으로 생성되며, 변형된 후 거친 이미지에 더해져 합성된 헤드 뷰의 효과적 해상도를 높인다. 제안하는 시스템을 시각적 품질과 속도 측면에서 유사한 최신 기술과 비교하였다. 실험 결과, 동일한 시각적 품질을 유지하면서 기존의 신경 헤드 아바타 모델에 비해 인퍼런스 속도에서 큰 향상을 보였다. 또한 본 시스템의 실시간 스마트폰 기반 구현 사례도 보고한다.