一句话总结

复旦大学、ByteDance Seed 和蚂蚁集团的研究人员提出了历史类比获取任务，探索基于大语言模型的检索与生成方法，并引入自我反思方法来减轻幻觉和刻板印象；人工评估和自动评估表明，LLM 在识别类比历史事件方面具有良好潜力。

核心贡献

• 引入了历史类比获取任务，以获取与给定输入事件和描述具有类比关系的历史事件，针对了一个被忽视的研究重点，并探索了使用大语言模型进行检索与生成。

• 开发了自动多维相似度指标，从认知视角评估历史类比；实验表明，该指标与人工评估高度相关。

• 提出了一种自我反思方法，利用 Wikipedia 作为外部知识库并通过多轮反思减轻幻觉和刻板印象；结果表明，大语言模型在历史类比方面具有有用潜力，并且该方法提升了类比获取性能。

引言

历史类比在应用历史学中很重要，因为它帮助人们通过过去事件理解当前事件，并可以为政策决策提供信息。然而，人们常常快速选择类比，关注表面相似性，并缺乏彻底的历史比较。早期 AI 工作主要研究词语类比或自由形式的科学类比和日常类比，而 LLM 也可能产生幻觉或刻板的历史论断。

作者将历史类比获取定义为在因果、过程、结果等维度上发现与给定当前事件具有类比关系的历史事件。他们使用数据集检索和自由生成对 LLM 进行测试，然后提出一种包含 Candidate Generator 和 Answer Reflector 的自我反思方法，以减少幻觉和刻板化，同时通过 Wikipedia 验证候选事件。作者还引入了与人工评估对齐的自动多维评估指标，表明当前 LLM 在历史类比方面具有有意义的潜力。

数据集

• 作者为历史类比生成构建了两个评估子集：一个流行类比集和一个通用类比集。

• 流行类比集：作者从与历史类比相关的网页和文章中手动收集示例。这些示例是公众熟知且已有标准化结果的类比。在根据有效性、公认地位、标准答案、创造性以及移除误用或争议案例进行过滤后，最终集合包含 20 个测试样本。

• 通用类比集：作者从 Google Arts and Culture 收集了 658 个历史事件。这些事件被分为四个主题：战争、政治、文化与社会、经济。从中，作者分别从战争、政治、文化与社会中各选择 50 个样本，从经济中选择 10 个样本。这形成了一个平衡的 160 样本通用类比集，用于测试模型能否在不同领域之间进行历史类比。

• 数据用作测试集而非训练混合数据。流行类比作为具有已知标准答案的基准案例，而通用类比用于评估 LLM 能否为没有普遍公认比较对象的事件生成新颖历史类比。

• 由于通用类比没有标准化答案，作者设计了自动评估指标，通过比较生成类比与原始输入事件来评估生成类比的质量。

方法

作者将历史类比获取表述为从具有描述 $\mathcal{D}_{I}$DI​ 的输入事件 $\mathcal{E}_{I}$EI​ 到与输入具有类比性质的历史事件 $\mathcal{E}_{H}$EH​ 的映射。比较围绕四个核心事件维度组织：主题、背景、过程和结果。参见下方示例。

该示例说明了预期的类比结构，其中当代事件和历史事件在这些维度上进行比较，而不是仅通过表面实体匹配。数据构建流程支持该表述，将广泛认同类比与没有既定类比答案的事件分开。流行类比提供标准化案例，而通用类比由需要模型推理和比较推理的历史事件构建。由于通用类比没有固定标准答案，作者进一步设计了反映相同四维事件视角的自动评估流程。

在评估中，该方法首先使用一个 LLM，论文中具体为 GPT-4，将输入描述和候选描述总结为四个组件：

$$\mathcal{D} = (\mathcal{D}^{\mathrm{Topic}}, \mathcal{D}^{\mathrm{Background}}, \mathcal{D}^{\mathrm{Process}}, \mathcal{D}^{\mathrm{Result}}).$$D=(DTopic,DBackground,DProcess,DResult).

对于每个维度 $d$d，系统估计抽象相似度 $sim_{\mathrm{Abs}}(\mathcal{D}_{I}^{d}, \mathcal{D}_{H}^{d})$simAbs​(DId​,DHd​) 和字面相似度 $sim_{\mathrm{Lit}}(\mathcal{D}_{I}^{d}, \mathcal{D}_{H}^{d})$simLit​(DId​,DHd​)。抽象相似度捕捉共享主题、原因、过程或结果，而字面相似度捕捉在去除停用词后的表面 token 重叠。最终的多维相似度指标融合两种信号，并通过阈值 $\alpha$α 对过度字面复制进行惩罚：

$$MDS = \sum_{d \in \mathcal{D}} w^{d} \cdot sim_{\mathrm{Abs}}(\mathcal{D}_{I}^{d}, \mathcal{D}_{H}^{d}) \cdot \max(\alpha - sim_{\mathrm{Lit}}(\mathcal{D}_{I}^{d}, \mathcal{D}_{H}^{d}), 0).$$MDS=d∈D∑​wd⋅simAbs​(DId​,DHd​)⋅max(α−simLit​(DId​,DHd​),0).

这里，$w^{d}$wd 控制每个维度的贡献。阈值 $\alpha$α 防止高度文本匹配被解释为强类比。在校准设置中，维度权重更强调过程和结果，而不是主题；同时，高于阈值的字面相似度会被视为惩罚。

主要方法流程涵盖六种方法，分为数据集检索方法和自由生成方法。作者利用不同层次的 LLM 推理、检索、验证和反思来产生 $\mathcal{E}_{H}$EH​。框架如下图所示。

数据集检索方法将解空间限制在一个精心筛选的历史事件池中，论文中该池由历史事件数据构建。Direct Retrieval 使用 text-embedding-3-small 对输入事件和池中每个事件的描述进行嵌入，然后选择具有最高余弦相似度的事件作为 $\mathcal{E}_{H}$EH​。这是一种低开销基线，但它高度依赖嵌入质量，并可能遗漏抽象而非词汇相似的关系。

Two-stage Retrieval 通过首先使用余弦相似度检索前十个候选来改进这一方法。随后，LLM 接收输入描述和这些候选描述，并选择最合适的历史类比。这增加了一个语言模型重排序步骤，使系统能够在更高层面的关系依据上比较候选。

自由生成方法则要求模型从参数化知识中生成候选历史事件。Direct Generation 使用 $\mathcal{E}_{I}$EI​ 和 $\mathcal{D}_{I}$DI​ 提示 LLM，并要求它输出一个具有类比关系的历史事件。该流程高效，但容易受到幻觉和预训练偏差影响，因为它无法确认生成事件是否真实或对齐良好。

Two-stage Generation 通过首先要求 LLM 提出十个候选事件来部分解决该问题。每个候选随后通过 Wikipedia 验证，以确认事件确实存在。LLM 将输入描述与已验证的候选描述进行比较，并选择最佳匹配。这在最终选择前引入了真实性过滤。

Generation with Summarizing 进一步重构输入和候选表示。该方法不对原始描述进行比较，而是将每个事件压缩为主题、背景、过程和结果四个维度。这些摘要更短、更干净，并与评估指标更直接对齐。随后，LLM 使用这些四维摘要生成候选并进行比较，这有助于模型关注抽象类比结构，而不是表面措辞。

最精细的设计是 Self-reflection Framework。它旨在减少幻觉和刻板候选生成。框架包含两个基于 LLM 的模块，一个 Candidate Generator 和一个 Answer Reflector。在每次迭代中，Candidate Generator 基于输入事件的四维描述提出五个候选。每个候选都通过 Wikipedia 检查，以确保真实性。Answer Reflector 随后评估是否有候选适合作为类比历史事件。如果没有候选可接受，Answer Reflector 提供反馈，并指示 Candidate Generator 在下一次迭代中修改候选集。如果找到合适候选，Answer Reflector 输出 $\mathcal{E}_{H}$EH​ 并终止循环。这种迭代设计将类比生成转化为一个包含验证、反馈和拒绝的受控搜索过程，而不是单轮提示响应。

实验

实验使用专家人工排名和经过人工排名验证的自动多维相似度指标评估历史类比生成。使用开源和闭源 LLM 的主要测试表明，自由生成，尤其是带有自我反思和基于维度总结的方法，优于检索和两阶段选择，而流行类比可能反映预训练泄漏，通用类比更能暴露真实类比能力。额外分析表明，自我反思减少了刻板化字面重叠，更强的 LLM 更擅长选择类比事件，而不同事件视角可能导致不同的类比选择。

在 ChatGPT 结果中，自由生成方法优于检索方法，其中自我反思获得最高多维得分，带总结的方法仍然表现强劲。这些方法在抽象相似度和聚合维度得分上强于字面相似度，Direct Generation 在流行类比上具有竞争力，但讨论部分指出它在通用类比上表现下降。自我反思在所列 ChatGPT 方法中取得最佳整体多维结果。带总结和 Direct Generation 相比检索基线也在主题、背景、过程和结果相似度上表现强劲。字面相似度得分持续很低，而抽象相似度和组合维度得分高得多。

结果表明，扩大候选集合会带来适度性能提升，尤其是在最小和中等设置之间；但达到中等集合规模后，收益变得有限，而 token 成本持续增加。较低的反思次数表明，反思仅在大约十分之一的案例中使用，说明模型经常接受已有候选，而不是重新检查候选。因此，更大的候选集合对自我反思方法带来收益递减。性能随着候选增多而提升，但在中等集合规模后趋于平稳。token 消耗持续上升，即使额外候选几乎没有带来收益。模型很少执行反思，表明模型倾向于接受当前候选。

自我反思 warmup 轮次比较显示，少量 warmup 反思相比无 warmup 可提供适度性能提升。当进一步增加 warmup 轮次时，收益并未在所报告的指标上持续，部分得分还会下降。这表明，额外的反思轮次可能引入无效或不合适的反思，而不是持续改善结果。少量 warmup 反思轮次相比无 warmup 可以略微改善结果。额外的 warmup 轮次不会一致地提升性能，并可能降低有效性。

实验使用 ChatGPT 评估用于类比生成的自由生成、检索和反思策略，考察多维相似度、候选集合规模和 warmup 反思。自由生成方法通常优于检索基线，其中自我反思获得最强整体质量，带总结的方法在主题相似度和过程相似度上表现稳健，而字面匹配仍然较低。扩大候选集合和添加 warmup 反思仅带来适度改善，表明收益递减、token 成本上升，并且反思频率有限。因此，适度的生成和反思预算最为有效。