Gagan Mundada Yash Vishe Amit Namburi Xin Xu Zachary Novack Julian McAuley Junda Wu

摘要

近年来，多模态大语言模型（MLLMs）在各类视觉-语言任务中展现出令人瞩目的能力。然而，其在多模态符号音乐领域中的推理能力仍鲜有探索。为此，我们提出了 WildScore——首个面向真实场景的多模态符号音乐推理与分析基准，旨在评估 MLLMs 解读真实音乐乐谱及回答复杂音乐学问题的能力。WildScore 中的每个实例均源自真实的音乐作品，并配有用户生成的真实问题与讨论内容，充分体现了实际音乐分析的复杂性。为支持系统化评估，我们提出了一套系统性的分类体系，涵盖高层次与细粒度的音乐学本体结构。此外，我们将复杂的音乐推理任务建模为多项选择题问答形式，从而实现对 MLLMs 符号音乐理解能力的可控且可扩展的评估。对当前先进 MLLMs 在 WildScore 上的实证基准测试揭示了其在视觉-符号推理方面的一些有趣规律，既展现了潜在的发展方向，也暴露了在符号音乐推理与分析任务中仍存在的持续性挑战。我们已公开发布该数据集与相关代码。