대상 영역 강화를 통한 대비 학습 기반 임의 이미지 스타일 전이

이 연구에서는 새로운 스타일 특징 표현 학습 방법을 활용하여 임의의 이미지 스타일 전이(arbitrary image style transfer)라는 도전적인 문제를 해결한다. 이미지 스타일화 작업에서 적절한 스타일 표현은 만족스러운 결과를 달성하기 위한 핵심 요소이다. 기존의 딥 신경망 기반 접근법은 콘텐츠 특징의 이차 통계량(예: 그램 행렬)을 활용하여 합리적인 결과를 도출하고 있으나, 충분한 스타일 정보를 활용하지 못함으로써 국소적 왜곡 및 스타일 불일치와 같은 아티팩트가 발생한다. 이러한 문제를 해결하기 위해, 본 연구는 이차 통계량이 아닌 이미지 특징 자체로부터 직접 스타일 표현을 학습하는 방식을 제안한다. 이를 위해 다양한 스타일 간의 유사성과 차이를 분석하고, 스타일 분포를 고려하는 접근법을 적용한다. 구체적으로, 대조 학습(contrastive learning)을 통한 새로운 스타일 표현 학습 및 스타일 전이 방법인 대조적 임의 스타일 전이(Contrastive Arbitrary Style Transfer, CAST)를 제안한다. 제안하는 프레임워크는 세 가지 핵심 구성 요소로 구성되며, 각각 스타일 코드 인코딩을 위한 다층 스타일 프로젝터, 스타일 분포의 효과적인 학습을 위한 도메인 강화 모듈, 그리고 이미지 스타일 전이를 수행하는 생성망이다. 제안한 방법이 최신 기술 대비 현저히 우수한 성능을 보임을 확인하기 위해 정성적 및 정량적 평가를 종합적으로 수행하였다. 코드 및 모델은 https://github.com/zyxElsa/CAST_pytorch 에서 공개되어 있다.