16일 전

인간 운동의 확산을 생성 전단으로서 활용하기

Yonatan Shafir, Guy Tevet, Roy Kapon, Amit H. Bermano
인간 운동의 확산을 생성 전단으로서 활용하기
초록

최근 연구들은 인간 운동 생성, 특히 텍스트 기반 운동 생성 가능성을 갖춘 노이즈 제거 확산 모델의 큰 잠재력을 입증해왔다. 그러나 이러한 방법들은 주로 애너테이션된 운동 데이터의 부족, 단일 인물 운동에 국한된 관심, 그리고 세밀한 제어의 부재라는 한계를 가지고 있다. 본 논문에서는 확산 사전(확산 프리어)을 기반으로 한 세 가지 형태의 조합 방식을 제안한다. 즉, 순차적 조합, 병렬적 조합, 모델 조합이다. 순차적 조합을 통해 우리는 긴 시퀀스 생성 문제에 대응한다. 우리는 단지 짧은 클립에 대해만 학습된 사전을 사용하여, 프롬프트로 지정된 구간과 그 전이를 포함하는 긴 애니메이션을 생성하는 인퍼런스 시점 기법인 DoubleTake을 제안한다. 병렬적 조합을 통해 우리는 이인물 운동 생성에 대한 희망적인 전진을 보여준다. 두 개의 고정된 사전과 몇 개의 이인물 학습 예시를 기반으로, 두 개의 결과 운동 간의 상호작용을 조율하는 슬림한 커뮤니케이션 블록인 ComMDM을 학습한다. 마지막으로, 모델 조합을 통해 우리는 주어진 관절에 대해 지정된 운동을 구현하는 운동을 완성하도록 개별 사전을 사전 학습한다. 이후 우리는 DiffusionBlending이라는 보간 메커니즘을 도입하여, 여러 모델을 효과적으로 결합함으로써 유연하고 효율적인 세부적인 관절 수준 및 궤적 수준의 제어 및 편집을 가능하게 한다. 제안된 조합 방법들은 사전에 학습된 움직임 확산 모델을 사용하여 평가되었으며, 특정 작업에 특화되어 학습된 전용 모델들과의 비교를 통해 성능을 추가로 검증하였다.

인간 운동의 확산을 생성 전단으로서 활용하기 | 최신 연구 논문 | HyperAI초신경