대립적 오픈 도메인 적응을 이용한 스케치-사진 합성

본 논문에서는 오픈 도메인 스케치-사진 변환을 탐구합니다. 이 기술은 훈련 데이터에 해당 클래스의 스케치가 없더라도 자유롭게 그린 스케치와 클래스 라벨로부터 실제 사진을 합성하는 것을 목표로 합니다. 이는 훈련 감독의 부족과 자유롭게 그린 스케치 도메인과 사진 도메인 사이의 큰 기하학적 왜곡으로 인해 어려운 문제입니다. 훈련 데이터에 없는 자유롭게 그린 스케치를 합성하기 위해, 우리는 스케치-사진 변환과 사진-스케치 생성을 동시에 학습하는 프레임워크를 제안합니다. 그러나 가짜 스케치에서 학습된 생성기는 누락된 클래스의 스케치를 처리할 때 만족스러운 결과를 내지 못할 수 있습니다. 이는 합성된 스케치와 실제 스케치 사이의 도메인 간 차이 때문입니다. 이러한 문제를 완화하기 위해, 우리는 단순하면서도 효과적인 오픈 도메인 샘플링 및 최적화 전략을 추가로 제안하여 생성기를 "속여" 가짜 스케치를 실제 스ケ치로 인식하도록 합니다. 우리의 방법은 인-도메인 데이터에서 학습한 스케치-사진 및 사진-스케치 매핑을 활용하여 이를 오픈 도메인 클래스로 일반화시킵니다. 우리는 Scribble 및 SketchyCOCO 데이터셋에서 우리의 방법을 검증하였습니다. 최근 경쟁 방법들과 비교했을 때, 우리 접근법은 다양한 카테고리의 오픈 도메인 스케치에서 실제적인 색상, 질감, 그리고 기하학적 구성을 유지하는 데 있어 인상적인 결과를 보여주었습니다. 우리의 코드는 https://github.com/Mukosame/AODA 에서 확인할 수 있습니다.