비지도 학습을 통한 조건부 이미지 생성을 이용한 객체 랜드마크 학습

우리는 시각적 객체(예: 얼굴의 눈과 코)의 랜드마크 검출기를 수동 감독 없이 학습하는 방법을 제안합니다. 이 문제를 첫 번째 예제 이미지에서 보이는 객체의 외관과 두 번째 예제 이미지에서 보이는 객체의 기하학적 구조를 결합하여 이미지를 생성하는 문제로 설정합니다. 여기서 두 예제는 시점 변화와/또는 객체 변형에 의해 다릅니다. 외관과 기하학적 구조를 분리하기 위해, 우리는 기하학적 특징 추출 과정에서 기하학적으로 관련된 특징을 선택하고 정제하는 조밀한 병목구간(tight bottleneck)을 도입합니다. 표준 이미지 생성 문제, 종종 생성 적대 네트워크(generative adversarial networks)를 사용하는 것과 비교할 때, 우리의 생성 작업은 외관과 기하학적 구조 모두에 조건부로 이루어져 있어 상당히 모호성이 적습니다. 따라서 간단한 지각 손실(perceptual loss) 공식을 채택하는 것이 충분합니다. 우리는 우리 접근법이 수동 감독 없이 합성 이미지 변형이나 비디오로부터 객체 랜드마크를 학습할 수 있으며, 최신 비감독 랜드마크 검출기보다 우수한 성능을 발휘함을 입증하였습니다. 또한 우리의 방법이 어떤 수정도 없이 얼굴, 사람, 3D 객체, 그리고 숫자 등 다양한 데이터셋에 적용될 수 있음을 보여주었습니다.