16일 전

대조적 확산을 이용한 제어 가능한 그룹 안무 생성

Nhat Le, Tuong Do, Khoa Do, Hien Nguyen, Erman Tjiputra, Quang D. Tran, Anh Nguyen
대조적 확산을 이용한 제어 가능한 그룹 안무 생성
초록

음악 기반 그룹 안무 생성은 큰 도전 과제를 안고 있지만, 다양한 산업 분야에 걸쳐 높은 잠재력을 지닌 분야이다. 음악에 정확히 부합하면서도 시각적으로 매력적인 그룹 댄스 애니메이션을 생성할 수 있는 능력은 엔터테인먼트, 광고, 가상 공연 등 다양한 분야에서 응용 가능성을 열어준다. 그러나 최근 대부분의 연구들은 장기적인 고해상도 움직임을 생성하는 데 한계가 있거나, 사용자가 제어할 수 있는 경험을 제공하지 못하는 문제가 있다. 본 연구에서는 그룹 안무의 일관성과 다양성을 효과적으로 조절함으로써 고품질이고 사용자 맞춤형 그룹 댄스 생성의 수요를 충족시키는 것을 목표로 한다. 특히, 확산 기반 생성 기법을 활용하여 댄서의 수와 시간 길이에 유연하게 대응할 수 있는 장기 그룹 댄스를 생성하면서도 입력 음악과의 통일성을 보장한다. 궁극적으로, 분류기 가이드 샘플링 기법을 통해 그룹 내 댄서 간의 연결성을 강화하고, 그룹 애니메이션의 일관성 또는 다양성 수준을 제어할 수 있는 그룹 대비 확산(Group Contrastive Diffusion, GCD) 전략을 제안한다. 철저한 실험과 평가를 통해 본 방법이 시각적으로 매력적이며 일관성 있는 그룹 댄스 움직임을 효과적으로 생성함을 입증하였다. 실험 결과는 제안한 방법이 원하는 수준의 일관성과 다양성을 달성하면서도 전체적으로 높은 품질의 그룹 안무를 유지할 수 있음을 보여준다. 소스 코드는 다음 링크에서 확인할 수 있다: https://aioz-ai.github.io/GCD

대조적 확산을 이용한 제어 가능한 그룹 안무 생성 | 최신 연구 논문 | HyperAI초신경