다중 적대 네트워크를 이용한 고품질 얼굴 사진-스케치 합성

실사 사진에서 얼굴 스케치를 생성하고 그 역과정은 다양한 응용 분야를 가지고 있습니다. 그러나 사진과 스케치가 서로 다른 특성을 가지기 때문에, 사진/스케치 합성은 여전히 어려운 문제입니다. 본 연구에서는 이 작업을 이미지-이미지 변환 문제로 간주하고, 최근 인기 있는 생성 모델(GANs)을 활용하여 고품질의 실제적인 사진을 스케치로부터 생성하고, 스케치를 사진으로부터 생성하는 방법을 탐구합니다. 최근 GAN 기반 방법들은 이미지-이미지 변환 문제, 특히 사진-스케치 합성에서 유망한 결과를 보여주었지만, 고해상도의 실제적인 이미지를 생성하는 능력에는 한계가 있다는 것이 알려져 있습니다. 이를 해결하기 위해, 우리는 저해상도에서 고해상도 이미지를 적대적으로 순차적으로 생성하는 새로운 합성 프레임워크인 다중 적대 네트워크를 사용한 사진-스케치 합성(Photo-Sketch Synthesis using Multi-Adversarial Networks, PS2-MAN)을 제안합니다. 생성자의 은닉층은 먼저 저해상도 이미지를 생성하도록 감독되며, 이후 네트워크 내에서 암시적으로 세부 조정되어 고해상도 이미지를 생성합니다. 또한, 사진-스케치 합성이 짝을 이루는 변환 문제이므로, CycleGAN 프레임워크를 활용하여 짝 정보를 활용합니다. 본 연구에서는 이미지 품질 평가(IQA)와 사진-스ケ奇 일치 실험을 수행하여 우리의 프레임워크가 기존 최신 솔루션에 비해 우수한 성능을 보이는 것을 입증하였습니다. 코드는 다음 링크에서 확인할 수 있습니다: https://github.com/lidan1/PhotoSketchMAN.注：在最后一句中，“スケ奇”应该是“스케치”（sketch）的误打，请确认并修改。