2달 전

다른 시점 이미지 생성을 위한 조건부 GAN 활용

Regmi, Krishna ; Borji, Ali
다른 시점 이미지 생성을 위한 조건부 GAN 활용
초록

자연 장면을 생성하는 것은 컴퓨터 비전 분야에서 항상 어려운 과제였습니다. 특히, 극히 다른 시점의 이미지를 기반으로 생성할 때는 더욱 고된 작업이 됩니다. 이는 주로 서로 다른 시점 간의 외관과 의미 정보를 이해하고, 대응시키며, 변환하는 것이 쉽지 않기 때문입니다. 본 논문에서는 조건부 생성적 적대 네트워크(conditional generative adversarial networks, cGAN)를 사용하여 새로운 문제인 크로스뷰 이미지 합성(cross-view image synthesis), 즉 공중뷰에서 거리뷰로 그리고 그 역방향으로의 합성을 해결하려고 합니다. 64x64 픽셀 및 256x256 픽셀 해상도의 장면을 생성하기 위해 크로스뷰 포크(Crossview Fork, X-Fork)와 크로스뷰 시퀀셜(Crossview Sequential, X-Seq)이라는 두 가지 새로운 아키텍처를 제안합니다.X-Fork 아키텍처는 단일 판별기와 단일 생성기를 사용합니다. 생성기는 대상 시점에서 이미지와 해당 이미지의 의미 분할(segmentation)을 모두 환상적으로 생성합니다. X-Seq 아키텍처는 두 개의 cGAN을 활용합니다. 첫 번째 cGAN은 대상 이미지를 생성하고, 이 이미지는 두 번째 cGAN에 입력되어 해당 의미 분할 맵을 생성합니다. 두 번째 cGAN에서 제공되는 피드백은 첫 번째 cGAN이 더 선명한 이미지를 생성하도록 도와줍니다. 제안된 두 아키텍처 모두 자연적인 이미지뿐만 아니라 해당 이미지의 의미 분할 맵을 생성하도록 학습됩니다.제안된 방법들은 전통적인 장면 이미지 변환 방법이 시각적 외관만 고려하는 것과 달리 소스 뷰와 대상 뷰에서 객체의 진정한 의미(semantics)를 더 잘 포착하고 유지할 수 있음을 보여줍니다. 광범위한 정성적 및 정량적 평가 결과는 제시된 프레임워크들이 극히 다른 시점 간 자연 장면 생성에 있어 최신 기술(two state-of-the-art methods)보다 우수함을 입증합니다.