Samuel Schapiro Sumuk Shashidhar Alexi Gladstone Jonah Black Royce Moon Dilek Hakkani-Tur Lav R. Varshney

摘要

人工智能（AI）系统，尤其是大型语言模型（LLMs），正越来越多地被用于科学创意生成等创造性任务，这种应用本质上是一种从训练数据中进行泛化的能力，而现有概念框架尚未对此加以充分阐述。尽管在许多方面与组合泛化（compositional generalization, CG）相似，组合式创造力（combinatorial creativity, CC）却具有开放性特征。与针对固定目标评估准确性或正确性不同——这种做法会违背CC的开放性本质——我们提出了一种理论框架及相应的算法任务，用以通过新颖性与实用性两个维度来评估生成结果的质量。基于此，我们做出了几项重要的实证贡献：（1）首次揭示了大型语言模型创造力随规模增长的演化规律；（2）发现当计算资源固定时，存在最优的模型深度与宽度组合，能够最大化创造力表现；（3）我们观察到，LLMs在生成新颖科学构想方面表现出色，但在确保其实际可行性方面存在明显短板，这一“构想-执行鸿沟”可能源于更根本的“新颖性-实用性权衡”机制——这种权衡是创造性算法普遍具有的特征。尤为重要的是，这种权衡在模型规模扩大后依然持续存在，从而对当前形式下LLMs长期的创造性潜力提出了质疑。综上所述，我们的理论框架与实证发现共同为理解并提升现代AI模型的创造力奠定了基础，标志着泛化能力研究进入了一个全新的前沿领域。