16일 전
대조적 확산을 이용한 제어 가능한 그룹 안무 생성
Nhat Le, Tuong Do, Khoa Do, Hien Nguyen, Erman Tjiputra, Quang D. Tran, Anh Nguyen

초록
음악 기반 그룹 안무 생성은 큰 도전 과제를 안고 있지만, 다양한 산업 분야에 걸쳐 높은 잠재력을 지닌 분야이다. 음악에 정확히 부합하면서도 시각적으로 매력적인 그룹 댄스 애니메이션을 생성할 수 있는 능력은 엔터테인먼트, 광고, 가상 공연 등 다양한 분야에서 응용 가능성을 열어준다. 그러나 최근 대부분의 연구들은 장기적인 고해상도 움직임을 생성하는 데 한계가 있거나, 사용자가 제어할 수 있는 경험을 제공하지 못하는 문제가 있다. 본 연구에서는 그룹 안무의 일관성과 다양성을 효과적으로 조절함으로써 고품질이고 사용자 맞춤형 그룹 댄스 생성의 수요를 충족시키는 것을 목표로 한다. 특히, 확산 기반 생성 기법을 활용하여 댄서의 수와 시간 길이에 유연하게 대응할 수 있는 장기 그룹 댄스를 생성하면서도 입력 음악과의 통일성을 보장한다. 궁극적으로, 분류기 가이드 샘플링 기법을 통해 그룹 내 댄서 간의 연결성을 강화하고, 그룹 애니메이션의 일관성 또는 다양성 수준을 제어할 수 있는 그룹 대비 확산(Group Contrastive Diffusion, GCD) 전략을 제안한다. 철저한 실험과 평가를 통해 본 방법이 시각적으로 매력적이며 일관성 있는 그룹 댄스 움직임을 효과적으로 생성함을 입증하였다. 실험 결과는 제안한 방법이 원하는 수준의 일관성과 다양성을 달성하면서도 전체적으로 높은 품질의 그룹 안무를 유지할 수 있음을 보여준다. 소스 코드는 다음 링크에서 확인할 수 있다: https://aioz-ai.github.io/GCD