BenchMIRT：揭示大模型评估基准的真实测量维度

近日，艾伦人工智能研究所正式发布BenchMIRT，一种针对大语言模型评测基准的细粒度审计方法。该工具借鉴心理测量学中的多维项目反应理论，在独立提示词层级解构传统评测得分，精准剥离驱动模型表现的多重能力维度。 研究团队基于百款模型、十六项主流基准及超三万四千道试题完成训练。在未预设标签的情况下，BenchMIRT自主提取出安全合规与通用推理两大核心维度。分析证实，多数基准确如预期聚焦特定能力，但部分测度存在隐性交叉。例如，常被归入安全范畴的BBQ基准实则与推理能力高度相关；测试危险知识的WMDP基准分数更依赖推理水平，且呈现负相关。此外，该方法可精准筛选高信息量试题，将基准规模压缩至原长的十分之一至二分之一即可保留近九成评估效能，对未见试题的预测准确率达百分之七十九。 BenchMIRT为优化大模型评估体系提供了透明化路径，有助于剔除冗余题目、设计更精简高效的评测方案。研究亦指出，该方法受限于二零二五年三月前的模型数据，且所提取维度高度依赖输入基准组合；细粒度分析若被不当利用，可能存在被恶意用于规避安全测试的风险。该工具的问世标志着模型能力评估正迈向数据驱动与精准量化新阶段。