16일 전

EDGE: 음악에서 편집 가능한 춤 생성

Jonathan Tseng, Rodrigo Castellon, C. Karen Liu
EDGE: 음악에서 편집 가능한 춤 생성
초록

무용은 중요한 인류 예술 형식이지만, 새로운 무용을 창작하는 것은 어렵고 시간이 오래 걸릴 수 있다. 본 연구에서는 입력 음악에 충실하면서도 현실적이고 물리적으로 타당한 무용을 생성할 수 있는 편집 가능한 무용 생성 기법인 Editable Dance GEneration(EDGE)을 제안한다. EDGE는 강력한 음악 특징 추출기인 Jukebox와 결합된 트랜스포머 기반의 확산 모델을 사용하며, 관절 단위 조건부 생성과 중간 프레임 보간 등 무용에 적합한 강력한 편집 기능을 제공한다. 또한 물리적 타당성 평가를 위한 새로운 지표를 도입하였으며, 본 방법이 생성한 무용의 품질을 (1) 물리적 타당성, 비트 정렬, 다양성 기준에 대한 다수의 정량적 지표를 통해 평가하였고, 더 중요한 것은 (2) 대규모 사용자 연구를 통해 평가하여 기존 최고 수준의 방법들에 비해 상당한 성능 향상을 입증하였다. 본 모델의 정성적 예시는 우리 웹사이트에서 확인할 수 있다.

EDGE: 음악에서 편집 가능한 춤 생성 | 최신 연구 논문 | HyperAI초신경