분리된 사람 이미지 생성

사람의 실제적이면서도 새로운 이미지를 생성하는 것은 전경, 배경 및 자세 정보와 같은 다양한 이미지 요소 간의 복잡한 상호작용 때문에 어려운 과제입니다. 본 연구에서는 이러한 이미지를 생성하기 위해 새로운 두 단계 재구성 파이프라인을 제안합니다. 이 파이프라인은 앞서 언급된 이미지 요소들의 분리된 표현을 학습하고 동시에 새로운 사람 이미지를 생성합니다. 첫 번째 단계에서는 다중 분기 재구성 네트워크를 제안하여 세 가지 요소를 분리하고 인코딩하여 임베딩 특성을 생성하며, 이를 다시 결합하여 입력 이미지를 재구성합니다. 두 번째 단계에서는 각각의 요소에 대해 가우시안 노이즈를 학습된 임베딩 특성 공간으로 매핑하기 위한 세 개의 대응 매핑 함수를 적대적 방식으로 학습합니다. 제안된 프레임워크를 사용하면 입력 이미지의 전경, 배경 및 자세를 조작할 수 있으며, 새로운 임베딩 특성을 샘플링하여 이러한 타깃 조작을 제공하여 생성 과정에 대한 더 많은 제어가 가능해집니다. Market-1501 및 Deepfashion 데이터셋에서 수행한 실험 결과, 본 모델은 실제적인 사람 이미지를 새롭게 생성할 뿐만 아니라, 생성된 요소들을 조작하고 중간 상태들을 보간할 수 있음을 확인하였습니다. 또한 Market-1501 데이터셋에서 수행한 다른 실험 결과는 본 모델이 사람 재식별 작업에도 유용할 수 있음을 보여주었습니다.