MoFusion: LLM 기반의 노이즈 제거 확산을 이용한 동작 합성 프레임워크

기존의 인간 운동 합성 방법은 결정론적 방식이거나, 운동의 다양성과 품질 사이의 균형을 유지하는 데 어려움을 겪는다. 이러한 한계를 해결하기 위해, 우리는 음악이나 텍스트와 같은 다양한 조건 입력을 바탕으로 긴 시간적 타당성과 의미적 정확성을 갖춘 고품질의 조건부 인간 운동을 생성할 수 있는 새로운 복잡한 노이즈 제거 기반의 확산 프레임워크인 MoFusion을 제안한다. 또한, 조건부 운동 확산 프레임워크 내에서 운동의 자연스러움을 보장하기 위해 잘 알려진 운동학적 손실을 계획된 가중치 전략을 통해 효과적으로 도입하는 방법을 제시한다. 학습된 잠재 공간은 보간(인터폴레이션), 시드 조건화, 텍스트 기반 편집과 같은 다양한 상호작용형 운동 편집 응용에 활용 가능하며, 이는 가상 캐릭터 애니메이션 및 로봇 기술 분야에 핵심적인 능력을 제공한다. 체계적인 정량적 평가와 인지적 사용자 연구를 통해 기존의 최신 기술들과 비교하여 MoFusion의 우수성을 입증하였다. 본 논문의 주요 결과를 확인하시기 위해 보충 영상 시청 및 https://vcai.mpi-inf.mpg.de/projects/MoFusion 사이트 방문을 권장한다.