LLM优化的艺术：提问、精炼与信任

近年来，大型语言模型（LLMs）展示了卓越的生成能力，但它们能否判断自身生成内容的质量呢？一个流行的概念称为自我精炼，认为当被要求时，大型语言模型可以检测并纠正其生成内容中的错误。然而，最近的实证研究表明，情况恰恰相反，即在涉及推理时，大型语言模型往往难以准确识别错误。为了解决这一问题，我们提出了一种新的推理与精炼目标——ART（Ask, Refine, and Trust），该方法通过提出必要问题来决定何时对大型语言模型的输出进行精炼，并通过对其精炼结果和初始预测进行排序来确认或撤销对其精炼的信任。在两个多步骤推理任务中，即数学文字题（GSM8K）和问答任务（StrategyQA），ART相比自我精炼基线方法实现了+5分的性能提升，同时使用的决策模型要小得多。此外，我们还证明了使用较小模型进行精炼决策是一种成本效益较高的替代方案，相较于微调更大规模的模型而言。