초록
본 논문에서는 단일 이미지 기반 조건부 이미지 조작을 위한 생성 모델인 DeepSIM을 제시합니다. 우리는 광범위한 데이터 증강이 단일 이미지 학습을 가능하게 하는 핵심 요소임을 발견하였으며, 효과적인 증강 방법으로 얇은 판 스플라인(Thin-Plate-Spline, TPS)의 사용을 통합하였습니다. 우리의 네트워크는 이미지의 원시 표현과 이미지 자체 간의 매핑을 학습합니다. 원시 표현의 선택은 조작의 용이성과 표현력에 영향을 미치며, 자동(예: 윤곽선), 수동(예: 분할) 또는 분할 위에 윤곽선을 놓는 하이브리드와 같은 방식으로 이루어질 수 있습니다. 조작 시점에서, 우리의 생성기는 원시 입력 표현을 수정하고 이를 네트워크를 통해 매핑하여 복잡한 이미지 변경을 허용합니다. 본 연구 방법은 이미지 조작 작업에서 뛰어난 성능을 달성하는 것으로 나타났습니다.