초록
최근 몇 년 동안 얼굴 스케치 합성은 큰 발전을 이룩하였습니다. 딥 뉴럴 네트워크를 기반으로 하는 최근의 방법들은 얼굴 사진에서 고품질의 스케치를 생성할 수 있습니다. 그러나 훈련 데이터(사진-스케치 쌍) 부족으로 인해 이러한 딥 러닝 기반 방법 중 어느 것도 야외 환경에서 촬영된 얼굴 사진에 성공적으로 적용될 수 없습니다. 본 논문에서는 추가적인 얼굴 사진을 활용하여 야외 환경에서 촬영된 얼굴 사진을 처리할 수 있는 반감독형 딥 러닝 아키텍처를 제안합니다. 지도 스케치를 사용하여 네트워크를 감독하는 대신, 먼저 입력 사진과 작은 참조 세트의 사진-스케치 쌍들 사이에서 특징 공간에서 패치 매칭(patch matching)을 수행합니다. 그런 다음 해당 스케치 특징 패치들을 사용하여 가상의 스케치 특징 표현(pseudo sketch feature representation)을 구성하여 우리의 네트워크를 감독합니다. 제안된 접근법을 통해 우리는 작은 참조 세트의 사진-스케치 쌍들과 함께 대규모 얼굴 사진 데이터셋(지도 스케치가 없는 경우)을 사용하여 네트워크를 훈련시킬 수 있습니다. 실험 결과, 우리의 방법은 공개 벤치마크와 야외 환경에서 촬영된 얼굴 사진 모두에서 최고 수준의 성능을 달성하였습니다. 코드는 https://github.com/chaofengc/Face-Sketch-Wild 에서 확인할 수 있습니다.