초록
다양한 동물의 얼굴을 이해하기 위한 새로운 방향으로, 인간 얼굴을 포함한 다양한 동물 얼굴 간의 공통 특징을 추출하는 밀집 다종 얼굴 임베딩(Dense Interspecies Face Embedding, DIFE)이 제안되었다. 다종 얼굴 이해에는 세 가지 주요한 과제가 존재한다: (1) 인간에 비해 동물 데이터의 부족, (2) 다양한 동물 얼굴 간의 모호한 연결 관계, (3) 극단적인 형태 및 스타일 차이. 데이터 부족 문제를 해결하기 위해, 추가 데이터나 레이블 없이 CSE와 StyleGAN2를 활용한 다교수 지식 전이 기법을 사용한다. 이후 StyleGAN2의 잠재 공간 탐색을 통해 가상의 쌍 이미지를 합성하여 서로 다른 동물 얼굴 간의 은닉된 관계를 탐색한다. 마지막으로, 종 간 극심한 형태 차이 문제를 해결하기 위해 의미적 매칭 손실(semantic matching loss)을 도입한다. 기존의 비지도 키포인트 탐지와 같은 방법들과의 비교를 위해 정량적 평가를 수행하며, MAFL 및 AP-10K 데이터셋에서 다종 얼굴 키포인트 전이 작업을 수행한다. 또한, 다종 얼굴 이미지 조작 및 밀집 키포인트 전이와 같은 다양한 응용 사례의 결과도 제시한다. 코드는 https://github.com/kingsj0405/dife 에서 공개되어 있다.