음악 변환기

음악은 구조와 의미를 형성하기 위해 반복에 크게 의존합니다. 자기 참조는 모티프에서 문구, 그리고 ABA 구조와 같은 음악의 전체 섹션 재사용에 이르기까지 여러 시간 척도에서 발생합니다. 자기 주의 기반 시퀀스 모델인 트랜스포머(Vaswani 등, 2017)는 장거리 일관성을 유지해야 하는 많은 생성 작업에서 뛰어난 결과를 달성했습니다. 이는 자기 주의가 음악 모델링에도 적합할 수 있음을 시사합니다. 그러나 음악 작곡과 연주에서는 상대적인 타이밍이 매우 중요합니다. 트랜스포머에서 상대 위치 정보를 표현하기 위한 기존 접근 방식은 쌍별 거리에 따라 주의력을 조절하는 방법(Shaw 등, 2018)을 사용합니다. 이 방법은 음악 작품과 같은 긴 시퀀스에 대해 중간 상대 정보의 메모리 복잡도가 시퀀스 길이의 제곱으로 증가하므로 실용적이지 않습니다. 우리는 중간 메모리 요구 사항을 시퀀스 길이에 비례하여 선형으로 줄이는 알고리즘을 제안합니다. 이를 통해 우리 수정된 상대 주의력 메커니즘을 적용한 트랜스포머가 몇 분 동안 지속되는 작품(수천 단계, Oore 등(2018)에서 모델링한 길이의 4배)을 구조적으로 생성하고, 주어진 모티프를 일관되게 발전시키는 후속 부분을 생성하며, seq2seq 설정에서 멜로디에 조건부로 반주를 생성할 수 있음을 입증할 수 있습니다. 우리는 우리의 상대 주의력 메커니즘을 적용한 트랜스포머를 JSB Chorales와 Piano-e-Competition 두 데이터셋에서 평가하였으며, 후자에서 최신 연구 결과(state-of-the-art results)를 얻었습니다.