摘要
在生成常识推理任务（如CommonGen）中，生成式大语言模型（LLMs）会组成包含所有给定概念的句子。然而，当关注指令遵循能力时，如果提示指定了概念顺序，LLMs必须生成符合该指定顺序的句子。为了解决这一问题，我们提出了有序CommonGen（Ordered CommonGen），这是一个旨在评估LLMs组合泛化能力和指令遵循能力的基准测试。该基准通过测量有序覆盖率来评估概念是否按指定顺序生成，从而实现对这两种能力的同时评估。我们使用36个LLMs进行了全面分析，发现尽管这些模型通常能够理解指令的意图，但对特定概念顺序模式的偏好往往导致输出多样性较低或即使改变概念顺序也产生相同的结果。此外，即使是最符合指令要求的LLM也只能达到约75%的有序覆盖率，这突显了在指令遵循和组合泛化能力方面仍需改进的需求。