진짜가 될 때까지 위장하라: 합성 데이터만을 이용한 자연 환경에서의 얼굴 분석

우리는 단지 합성 데이터만을 사용하여 실제 환경에서의 얼굴 관련 컴퓨터 비전 작업을 수행할 수 있음을 입증한다. 과학 공동체는 오랫동안 그래픽 기술을 활용하여 훈련 데이터를 합성하는 이점을 누려왔지만, 실제 데이터와 합성 데이터 사이의 도메인 갭 문제, 특히 인간 얼굴에 관해서는 여전히 해결되지 않은 과제였다. 연구자들은 데이터 혼합, 도메인 적응, 도메인 적대적 훈련 등의 방법으로 이 갭을 메우려 했으나, 우리는 합성 데이터를 매우 낮은 도메인 갭으로 생성할 수 있음을 보여주며, 합성 데이터로 훈련된 모델이 실제 와일드(wild) 데이터셋에도 잘 일반화됨을 입증한다. 우리는 절차적 생성된 파라메트릭 3D 얼굴 모델과 수작업으로 제작된 포괄적인 자산 라이브러리를 결합하여, 전례 없이 현실감 있고 다양한 훈련 이미지를 렌더링하는 방법을 제시한다. 얼굴 특징점 위치 추정 및 얼굴 분할과 같은 얼굴 관련 작업을 위한 머신러닝 시스템을 훈련시킨 결과, 합성 데이터가 실제 데이터와 동등한 정확도를 달성할 뿐만 아니라, 수작업 라벨링이 불가능한 새로운 접근 방식을 가능하게 함을 보여준다.