DeCLIP:面向开放词汇密集感知的解耦学习方法
Junjie Wang, Bin Chen, Yulin Li
发布日期: 5/16/2025

摘要
指令遵循(Instruction Following)任务用于评估大语言模型(LLMs)在生成符合用户定义约束条件的输出方面的能力。然而,现有的评测基准往往依赖模板化的约束提示词,缺乏真实世界使用场景中的多样性,也限制了对模型表现的细粒度评估。为弥补这一差距,我们提出了一个多维度约束框架,涵盖三种约束模式,四类约束类别,四个难度等级。 在此框架基础上,我们构建了一条自动化指令生成流程,能够执行约束扩展、冲突检测与指令重写,最终生成了 1,200 条可通过代码验证的指令遵循测试样本。我们对来自 七大模型系列的 19 个 LLM 进行了评估,发现模型在不同类型约束下的表现存在显著差异。例如,平均准确率从难度等级 I 的 77.67% 降至等级 IV 的 32.96%。此外,我们进一步展示了该方法在强化学习数据生成中的实用性:利用生成的样本对模型进行训练,可以在不损害整体性能的前提下,显著提升其在指令遵循任务中的表现。深入分析表明,这一性能提升主要来源于模型注意力模块参数的优化,增强了其对约束的识别与遵守能力。