MotionLCM: 잠재 일관성 모델을 통한 실시간 제어 가능한 동작 생성

이 연구는 실시간 수준의 조절 가능 동작 생성을 가능하게 하는 MotionLCM을 소개한다. 기존의 텍스트 조건부 동작 생성에서 공간적 제어를 수행하는 방법들은 상당한 런타임 비효율성을 겪고 있다. 이러한 문제를 해결하기 위해, 우리는 먼저 잠재 공간 기반의 확산 모델(MLD)을 기반으로 한 동작 잠재 일관성 모델(MotionLCM)을 제안한다. 또한, 단일 스텝 또는 소수의 스텝(inference)를 활용함으로써, 동작 생성을 위한 잠재 확산 모델의 런타임 효율성을 더욱 향상시킨다. 효과적인 제어 가능성을 보장하기 위해, MotionLCM의 잠재 공간 내에 동작 ControlNet을 도입하여, 원시 동작 공간에서의 명시적 제어 신호(예: 골반 궤적)를 직접적으로 생성 과정을 제어할 수 있도록 한다. 이는 동작 생성을 위한 잠재 공간이 없는 확산 모델을 제어하는 방식과 유사하다. 이러한 기법들을 활용함으로써, 본 연구의 접근법은 텍스트와 제어 신호를 동시에 사용하여 인간의 동작을 실시간으로 생성할 수 있다. 실험 결과는 MotionLCM이 뛰어난 생성 능력과 제어 성능을 동시에 갖추고 있음을 입증하며, 실시간 런타임 효율성도 유지함을 보여준다.