U-GAT-IT: 비지도 생성 주의 네트워크와 적응형 레이어-인스턴스 정규화를 이용한 이미지-이미지 변환

우리는 비지도 이미지-이미지 변환을 위한 새로운 방법을 제안합니다. 이 방법은 보조 분류기에서 얻은 주의 맵에 기반하여 소스와 대상 영역 간의 중요한 부분에 집중하도록 모델을 안내하는 새로운 주의 모듈과 새로운 학습 가능한 정규화 함수를 엔드-투-엔드 방식으로 통합합니다. 이전의 주의 기반 방법과 달리, 우리의 모델은 도메인 간의 기하학적 변화를 처리할 수 없었지만, 전체적인 변화가 필요한 이미지와 큰 형태 변화가 필요한 이미지를 모두 변환할 수 있습니다. 또한, 우리의 새로운 AdaLIN (Adaptive Layer-Instance Normalization) 함수는 데이터셋에 따라 학습된 매개변수를 통해 형태와 질감의 변화량을 유연하게 제어하는 데 도움을 줍니다. 실험 결과는 고정된 네트워크 구조와 하이퍼파라미터를 가진 기존 최신 모델들보다 제안된 방법이 우수함을 보여줍니다. 우리의 코드와 데이터셋은 https://github.com/taki0112/UGATIT 또는 https://github.com/znxlwm/UGATIT-pytorch에서 이용 가능합니다.