포즈 기반 인간 이미지 생성을 위한 변형 가능한 GANs

본 논문에서는 주어진 자세에 기반하여 사람 이미지를 생성하는 문제를 다룹니다. 구체적으로, 사람의 이미지와 목표 자세가 주어졌을 때, 해당 사람이 새로운 자세로 표현된 이미지를 합성합니다. 자세 차이로 인한 픽셀 단위의 미스얼라이먼트를 처리하기 위해, 우리의 생성적 적대 네트워크(Generative Adversarial Network)의 생성기에서 변형 가능한 스킵 연결(deformable skip connections)을 도입하였습니다. 또한, 일반적으로 사용되는 L1 및 L2 손실 대신 생성된 이미지의 세부 사항과 목표 이미지를 일치시키기 위해 최근접 이웃 손실(nearest-neighbour loss)을 제안하였습니다. 우리는 다양한 자세를 취하고 있는 사람들의 사진을 사용하여 접근 방식을 테스트하였으며, 이 분야에서의 이전 연구들과 비교하여 두 벤치마크에서 최고 수준의 결과를 보여주었습니다. 본 방법은 관절이 있는 객체의 자세를 키포인트 검출기(keypoint detector)를 사용하여 추출할 수 있는 경우, 변형 가능한 객체 생성의 더 넓은 영역에 적용될 수 있습니다.