Samuel Lewis-Lim Xingwei Tan Zhixue Zhao Nikolaos Aletras

摘要

近期研究表明，链式思维（Chain-of-Thought, CoT）在诸如分析性推理和常识推理等软性推理任务中往往带来的提升有限。此外，CoT 有时也未能真实反映模型实际的推理过程。本文针对指令微调模型、推理模型以及推理蒸馏模型，在软性推理任务中系统研究了 CoT 的动态特性及其忠实度。研究发现，不同模型依赖 CoT 的方式存在显著差异，且 CoT 的影响程度与其实现的忠实度并不总是一致。