댄스 리볼루션: 교육 과정 학습을 통한 음악과 함께하는 장기적인 댄스 생성

음악에 맞춰 춤을 추는 것은 고대부터 인간이 지닌 본능적인 능력 중 하나이다. 그러나 기계 학습 연구 분야에서는 음악에서 춤 동작을 합성하는 것은 여전히 도전적인 문제로 남아 있다. 최근 연구자들은 순환 신경망(RNN)과 같은 자기회귀 모델을 활용하여 인간의 운동 시퀀스를 생성하고자 했다. 그러나 이러한 접근 방식은 신경망에 피드백되는 예측 오차의 누적이 발생함에 따라 짧은 시퀀스만을 생성하는 경향이 있다. 특히 장시간 운동 시퀀스 생성에서는 이 문제가 더욱 심각해진다. 게다가 음악과 춤 간의 스타일, 리듬, 비트 등에서의 일관성은 모델링 과정에서 여전히 충분히 고려되지 않았다. 본 논문에서는 음악 조건부 춤 생성 문제를 시퀀스-투-시퀀스(sequence-to-sequence) 학습 문제로 정식화하고, 음악 특징의 장시간 시퀀스를 효율적으로 처리하며, 음악과 춤 간의 세밀한 대응 관계를 포착할 수 있는 새로운 seq2seq 아키텍처를 제안한다. 더불어, 장시간 운동 시퀀스 생성에서 자기회귀 모델의 오차 누적 문제를 완화하기 위한 새로운 커리큘럼 학습 전략을 제안한다. 이 전략은 초기에는 과거의 참값 운동 데이터를 사용한 완전한 지도 학습(teacher-forcing) 방식에서 시작하여, 점차 생성된 운동 데이터를 주로 사용하는 덜 지도적인 자기회귀 방식으로 점진적으로 전환하는 방식이다. 광범위한 실험 결과는 제안한 방법이 기존 최첨단 기법들에 비해 자동 평가 지표와 사용자 평가 모두에서 뚜렷한 성능 우위를 보임을 입증한다. 또한 본 연구에서 제안한 방법의 우수한 성능을 시연하는 데모 영상을 다음 링크에서 확인할 수 있다: https://www.youtube.com/watch?v=lmE20MEheZ8.