SCANimate: 스킨드 옷 입은 아바타 네트워크의 약한 감독 학습

SCANimate는 옷을 입은 사람의 원시 3D 스캔을 입력으로 받아 애니메이션 가능한 아바타로 변환하는 엔드투엔드 학습 가능한 프레임워크를 제안한다. 이 아바타는 자세 파라미터에 의해 조작되며, 자연스럽게 움직이고 변형되는 현실적인 옷을 갖춘다. SCANimate는 맞춤형 메시 템플릿이나 표면 메시 정합에 의존하지 않는다. 우리는 옷을 입은 사람의 스캔에 SMPL과 같은 파라메트릭 3D 신체 모델을 적합시키는 것은 가능하지만, 신체 구조의 표면을 스캔에 정합시키는 것은 흔히 어렵다는 점을 관찰했다. 이는 옷이 신체 형태에서 크게 벗어날 수 있기 때문이다. 또한, 관절 구조적 변형이 가역적임을 관찰하였으며, 이로 인해 자세가 적용된 상태와 적용되지 않은 상태의 형태 간에 기하학적 사이클 일관성이 발생한다. 이러한 관찰을 바탕으로, 템플릿 기반의 표면 정합 없이 관절 변형을 분리함으로써 스캔을 캐논ical 자세로 정렬하는 약한 감독 학습 방식을 제안한다. 또한, 정렬된 스캔에서 누락된 영역을 보완하면서 자세에 따라 변형되는 구조를 모델링하기 위해, 국소적인 자세 인지 임의 함수를 도입한다. 이 함수는 학습된 자세 보정 항목을 활용하여 기하 구조를 보완하고 모델링한다. 일반적으로 사용되는 전역 자세 임베딩과 달리, 본 연구의 국소 자세 조건부 방식은 장거리 부정확한 상관관계를 크게 감소시키며, 특히 훈련 데이터가 제한적인 경우에도 더 우수한 일반화 성능을 제공한다. 본 방법은 완전히 텍스처링된 아바타 생성을 위한 자세 인지형 외관 모델링에도 적용 가능하다. 다양한 옷 유형과 훈련 데이터 양에 대해 본 방법을 검증하였으며, 모든 설정에서 기존 솔루션과 다른 변종들보다 정확도와 일반화 능력 면에서 우수한 성능을 보였다. 코드는 https://scanimate.is.tue.mpg.de 에 공개되어 있다.