Music2Dance: 음악 기반 춤 생성을 위한 DanceNet

음악에서 인간의 움직임을 합성하는 것, 즉 음악에서 춤을 생성하는 것은 최근 몇 년간 매우 매력적인 주제로 여겨지며 많은 연구 관심을 끌고 있다. 이 작업은 춤에 필요한 현실적이고 복잡한 인간의 움직임을 생성해야 한다는 점 외에도, 더 중요한 것은 생성된 움직임이 음악의 스타일, 리듬, 멜로디와 일치해야 한다는 점에서 큰 도전 과제를 안고 있다. 본 논문에서는 음악의 스타일, 리듬, 멜로디를 제어 신호로 삼아 높은 현실성과 다양성을 갖춘 3차원 춤 동작을 생성하기 위해 새로운 자기회귀형 생성 모델인 DanceNet을 제안한다. 제안된 모델의 성능을 향상시키기 위해 전문 댄서들을 활용하여 동기화된 음악-춤 쌍을 촬영하고, 고품질의 음악-춤 쌍 데이터셋을 구축하였다. 실험 결과, 제안된 방법이 최첨단 성능을 달성함을 입증하였다.