2달 전

MotionPCM: 실시간 동작 합성에 대한 위상 일관성 모델

Jiang, Lei ; Wei, Ye ; Ni, Hao
MotionPCM: 실시간 동작 합성에 대한 위상 일관성 모델
초록

확산 모델은 강력한 생성 능력 덕분에 인간 운동 합성 분야에서 인기 있는 선택이 되었습니다. 그러나 이들의 높은 계산 복잡도와 많은 샘플링 단계는 실시간 응용 프로그램에 어려움을 초래합니다. 다행히도 일관성 모델(Consistency Model, CM)은 샘플링 단계를 수백 번에서 몇 번으로, 일반적으로 4번 미만으로 크게 줄여주어 확산 모델의 합성을 크게 가속화하는 해결책을 제공합니다. 그러나 잠재 공간에서 텍스트 조건부 인간 운동 합성에 CM을 적용하면 생성 결과가 만족스럽지 않습니다. 본 논문에서는 \textbf{MotionPCM}이라는 방법론을 소개합니다. 이는 잠재 공간에서 실시간 운동 합성의 품질과 효율성을 개선하기 위해 설계된 단계적 일관성 모델 기반 접근 방식입니다. HumanML3D 데이터셋에서 수행한 실험 결과, 우리의 모델은 단일 샘플링 단계에서 초당 30프레임 이상의 실시간 추론을 달성하면서 기존 최고 수준의 성능보다 FID(Fréchet Inception Distance) 측면에서 38.9% 개선된 결과를 보였습니다. 코드는 재현을 위해 공개될 예정입니다.

MotionPCM: 실시간 동작 합성에 대한 위상 일관성 모델 | 최신 연구 논문 | HyperAI초신경