역행 기반 스타일 전이 기법: 확산 모델을 활용한 접근

화풍은 그림의 표현 수단으로서, 그림 재료, 색채, 붓질뿐 아니라 의미 요소, 객체 형태와 같은 고차원적 특성도 포함한다. 기존의 임의의 예시 기반 화풍 이미지 생성 방법은 형태 변화나 핵심 요소의 전달을 정확히 제어하지 못하는 경우가 많다. 사전 훈련된 텍스트-이미지 합성 확산 확률 모델은 뛰어난 품질을 달성했지만, 특정 그림의 특성을 정확히 묘사하기 위해 종종 복잡한 텍스트 설명이 필요하다. 우리는 예술작품의 독창성이 일반적인 언어로는 충분히 설명될 수 없다는 점에 있음을 믿는다. 본 연구의 핵심 아이디어는 단일 그림에서 화풍을 직접 학습하고, 복잡한 텍스트 설명 없이도 합성을 유도하는 것이다. 구체적으로, 화풍을 그림에 대한 학습 가능한 텍스트 설명으로 간주한다. 본 논문에서는 이미지의 핵심 정보를 효율적이고 정확하게 학습할 수 있는 기반 기반 화풍 전이 방법(InST, Inversion-based Style Transfer)을 제안한다. 이를 통해 그림의 예술적 화풍을 효과적으로 포착하고 전이할 수 있다. 다양한 작가와 스타일의 수많은 그림을 대상으로 제안한 방법의 품질과 효율성을 실험적으로 입증하였다. 코드와 모델은 https://github.com/zyxElsa/InST 에서 공개된다.