퍼서-Free 가상 시착을 위한 외형 흐름 증류 기법

이미지 가상 시착은 타겟 의류 이미지를 사람 이미지에 자연스럽게 부착하는 것을 목표로 한다. 기존의 방법들은 인간의 품체 분할(human parsing)에 크게 의존하고 있으나, 약간의 오차가 있는 분할 결과는 큰 아티팩트를 유발하는 비현실적인 시착 이미지를 초래한다. 정확하지 않은 분할은 분할 기반 방법의 오류를 유도하여 시각적으로 비현실적인 결과를 만들어내며, 이 과정에서 일반적으로 아티팩트가 발생한다. 최근의 선도적인 연구에서는 지식 증류(knowledge distillation) 기법을 활용하여 인간 분할에 대한 의존도를 줄였는데, 분할 기반 모델이 생성한 시착 이미지를 '학생(student)' 네트워크의 학습 지도 데이터로 사용함으로써, 분할 정보 없이도 시착 능력을 학습할 수 있도록 했다. 그러나 이 방법의 학생 모델은 분할 기반 모델의 이미지 품질에 한계를 갖는다. 이 문제를 해결하기 위해, 본 연구에서는 인간 분할 없이도 고도로 사진처럼 사실적인 이미지를 생성할 수 있는 새로운 접근법인 '선생-강사-학생'(teacher-tutor-student) 지식 증류를 제안한다. 기존 기법들과 비교하여 다음과 같은 몇 가지 유리한 특징을 지닌다. (1) 기존 연구와 달리, 분할 기반 모델이 생성하는 가짜 이미지를 '강사(tutor) 지식'으로 활용하며, 이 아티팩트는 자기지도(self-supervised) 방식으로 실제 사람 이미지에서 추출한 '선생(teacher) 지식'을 통해 보정할 수 있다. (2) 실제 이미지를 지도로 사용하는 것 외에도, 시착 문제에서 지식 증류를 사람 이미지와 의류 이미지 간의 외형 흐름(appearance flow)을 증류하는 방식으로 정의함으로써, 두 이미지 사이의 정밀한 밀도 대응(dense correspondences)을 찾을 수 있게 되어 고품질의 결과를 생성할 수 있다. (3) 광범위한 실험 평가 결과, 본 방법이 기존 기법들에 비해 뚜렷한 우수성을 보였다(그림 1 참조).