퍼펫티어: 3D 모델을 래핑하고 애니메이션화하기

현대의 상호작용형 애플리케이션은 점점 더 동적 3D 콘텐츠를 요구하고 있으나, 정적인 3D 모델을 애니메이션 자산으로 변환하는 과정은 콘텐츠 제작 파이프라인에서 큰 성능 저하 요인이 되고 있다. 최근 생성형 AI의 발전은 정적인 3D 모델 생성을 혁신적으로 개선했지만, 뼈대 설정(rigging)과 애니메이션 생성은 여전히 전문가의 개입에 크게 의존하고 있다. 본 연구에서는 다양한 3D 객체에 대해 자동 뼈대 설정과 애니메이션 생성을 동시에 해결하는 종합적인 프레임워크인 Puppeteer를 제안한다. 본 시스템은 먼저, 순차적 추론 기반의 트랜스포머 모델을 활용해 타당한 골격 구조를 예측하며, 이를 위해 관절 기반 토큰화 전략을 도입하여 효율적인 표현을 가능하게 하고, 무작위 변동을 포함한 계층적 순서 정렬 방식을 적용하여 양방향 학습 능력을 향상시킨다. 이후, 골격 그래프 거리 기반의 관절 간 상호관계를 명시적으로 인코딩하는 '토폴로지 인지 관절 주의( topology-aware joint attention)'를 포함한 주의 기반 아키텍처를 통해 스킨 가중치를 추론한다. 마지막으로, 기존 방법보다 계산 효율성이 높은 차별 가능한 최적화 기반 애니메이션 파이프라인을 도입하여 안정적이고 고해상도의 애니메이션을 생성한다. 다양한 벤치마크를 대상으로 수행한 광범위한 평가 결과, 본 방법은 골격 예측 정확도와 스킨 가중치 품질 측면에서 기존 최고 수준의 기술들을 크게 능가함을 입증했다. 본 시스템은 전문가가 설계한 게임 자산부터 AI가 생성한 형태에 이르기까지 다양한 3D 콘텐츠를 견고하게 처리하며, 기존 방법에서 흔히 발생하는 진동(jittering) 문제를 제거한 시간적으로 일관된 애니메이션을 생성한다.