다양한 음악적 음 상태 간 상호 상관관계를 활용한 다성적 피아노 음악 전사 시스템

일반적으로 다성분 피아노 음악 전사 시스템은 각 오디오 프레임에 대해 음높이 활성화와 다양한 노트 상태를 추정하고 결정하도록 설계된다. 음악 전사 시스템은 음악 정보 검색(Music Information Retrieval, MIR) 분야에서 다양한 용도로 활용되지만, 노트 이벤트의 복잡한 구조로 인해 다양한 노트 상태를 정확히 예측하는 것은 여전히 도전적인 과제로 간주된다. 이에 따라 신경망 아키텍처 설계 방식은 각 노트 상태의 동시 예측을 촉진하기 위해 지속적으로 발전해왔다. 그러나 최근의 모델들은 서로 다른 노트 상태 간의 상호 상관관계를 효율적으로 활용하지 못하고 있다. 본 연구의 핵심 기여점은 다양한 노트 상태 간의 상호 상관관계를 검증하고, 이를 모델 아키텍처에 반영했다는 점이다. 이를 통해 전사 시스템은 더 명확한 노트 이벤트를 인식하고 실용적인 고품질 결과를 도출할 수 있게 되었다. 특히 특징 추출 단계에서 이러한 상호 상관관계를 효과적으로 활용하기 위해 커널 공유 특징 추출 모듈을 제안한다. 또한, 음높이 에너지의 형태를 정확히 인식할 수 있도록 노트 상태 탐지 단계에서 노트 상태별 탐지 모듈 간에 추가적인 연결 구조를 도입하였다. 본 아키텍처의 유효성은 구글 메지나(Google Magenta)에서 공개한 MAESTRO 데이터셋을 활용한 일련의 실험을 통해 철저히 검증되었다. 더불어, 상호 상관관계의 개념을 입증하고 제안된 접근법의 영향력과 중요성을 보여주기 위해 아블레이션(ablative) 연구도 수행하였다.