컨텐츠 고정형 이미지 투 이미지 변환을 위한 StyleFlow

이미지 간 번역(Image-to-image, I2I)은 컴퓨터 비전 분야에서 도전적인 주제이다. 우리는 이 문제를 세 가지 작업으로 나누었다: 강한 제약 조건을 가진 번역, 일반적인 제약 조건을 가진 번역, 그리고 약한 제약 조건을 가진 번역이다. 여기서 제약 조건은 원본 이미지 내의 콘텐츠 또는 의미 정보가 얼마나 보존되는지를 나타낸다. 기존의 접근법들은 약한 제약 조건 작업에서는 우수한 성능을 달성했지만, 강한 제약 조건 및 일반적인 제약 조건 작업에서 콘텐츠를 완전히 보존하지 못했다. 이는 사진 실사 합성, 스타일 전이, 색상 부여 등 다양한 응용 분야에서 나타나는 문제이다. 강한 제약 조건과 일반적인 제약 조건 작업에서 콘텐츠를 보존하는 번역을 달성하기 위해, 우리는 일반화 흐름(normalizing flows)과 새로운 스타일 인식 정규화(Style-Aware Normalization, SAN) 모듈을 결합한 새로운 I2I 번역 모델인 StyleFlow를 제안한다. 역행 가능(invertible) 네트워크 구조를 활용하여, StyleFlow는 전방 전파 과정에서 입력 이미지를 깊은 특징 공간으로 매핑하고, 후방 전파 과정에서 SAN 모듈을 사용하여 콘텐츠를 고정한 상태에서 특징 변환을 수행한 후 다시 이미지 공간으로 매핑한다. 본 모델은 이미지 유도 번역(image-guided translation)과 다중 모달 합성(multi-modal synthesis)을 모두 지원한다. 여러 I2I 번역 벤치마크에서 제안된 모델을 평가한 결과, 기존 방법들에 비해 강한 제약 조건 및 일반적인 제약 조건 작업 모두에서 우수한 성능을 보였다.