Gagan Mundada Yash Vishe Amit Namburi Xin Xu Zachary Novack Julian McAuley Junda Wu

초록

최근 다중모달 대규모 언어 모델(Multimodal Large Language Models, MLLMs)의 발전은 다양한 시각-언어 작업에서 놀라운 성능을 보여주고 있다. 그러나 이러한 모델들이 다중모달 상징적 음악 분야에서 보이는 추론 능력은 여전히 거의 탐색되지 않은 영역이다. 본 연구에서는 실제 음악 절차에서 발생하는 상황을 반영한, 다중모달 상징적 음악 추론 및 분석을 평가할 수 있도록 설계된 최초의 벤치마크인 WildScore를 제안한다. WildScore는 실제 음악 작품에서 가져온 데이터를 기반으로 하며, 각 인스턴스는 실제 사용자가 제기한 질문과 토론 내용을 포함하고 있어, 실질적인 음악 분석의 복잡성을 충실히 반영한다. 체계적인 평가를 가능하게 하기 위해, 고수준과 세부적인 음악학적 온톨로지로 구성된 체계적인 분류 체계를 제안한다. 또한, 복잡한 음악 추론 문제를 다지선다형 질문 답변 문제로 재정의함으로써, MLLMs의 상징적 음악 이해 능력에 대한 통제 가능하고 확장 가능한 평가를 가능하게 한다. 최신 MLLMs를 WildScore에서 실험적으로 평가한 결과, 시각-상징적 추론에 대한 흥미로운 패턴이 드러났으며, 상징적 음악 추론 및 분석 분야에서 MLLMs가 가진 잠재적 가능성과 여전히 해결해야 할 도전 과제를 밝혀냈다. 본 연구에서는 데이터셋과 코드를 공개한다.