다중 채널 주의 선택 GAN과 연속된 의미 지도를 이용한 시점 간 이미지 변환

다른 시점과 심각한 변형을 가진 이미지를 처리하는 것은 어려운 문제입니다. 본 논문에서는 임의의 시점에서 자연 풍경 이미지를 생성할 수 있는 새로운 접근법인 다중 채널 주의 선택 GAN (SelectionGAN)을 제안합니다. 제안된 SelectionGAN은 명시적으로 의미 정보를 활용하며, 두 단계로 구성됩니다. 첫 번째 단계에서는 조건 이미지와 대상 의미 지도가 순환 의미 유도 생성 네트워크에 입력되어 초기 조잡한 결과를 생성합니다. 두 번째 단계에서는 다중 채널 주의 선택 메커니즘을 사용하여 초기 결과를 개선합니다. 또한, 주의력으로부터 자동으로 학습된 불확실성 맵이 픽셀 손실을 안내하여 네트워크 최적화를 개선하는 데 사용됩니다. Dayton, CVUSA 및 Ego2Top 데이터셋을 이용한 광범위한 실험 결과, 본 모델이 기존 최신 방법들보다 훨씬 우수한 결과를 생성할 수 있음을 보여주었습니다. 소스 코드, 데이터 및 학습된 모델은 https://github.com/Ha0Tang/SelectionGAN에서 제공됩니다.