尽管大型语言模型（LLMs）在各类自然语言处理（NLP）任务中取得了显著成功，但其内部存储的知识仍不可避免地存在不完整、过时或错误等问题。这一局限性促使人们探索利用外部知识来增强LLMs的能力。然而，当前融合外部知识的方法通常需要额外的训练或微调，这不仅成本高昂，而且对于大型语言模型而言可能难以实施。为解决这一问题，我们提出了一种新颖的后处理方法——检索重思（Rethinking with Retrieval, RR），该方法基于思维链（Chain-of-Thought, CoT）提示所生成的分解推理步骤，检索相关的外部知识。该方法具有轻量化特性，无需额外训练或微调，且不受LLM输入长度的限制。我们在GPT-3上针对三项复杂推理任务——常识推理、时间推理和表格推理，开展了大量实验以评估RR的有效性。实验结果表明，RR能够生成更忠实的推理解释，并显著提升LLMs的性能。