监督微调的泛化：基于奖励修正的强化学习视角

我们提出了一种简单但具有理论依据的改进方法，用于大语言模型（LLM）的监督微调（Supervised Fine-Tuning, SFT），旨在解决其泛化能力相较于强化学习（Reinforcement Learning, RL）有限的问题。通过数学分析，我们发现标准SFT的梯度隐式地编码了一种具有问题的奖励结构，这种结构可能严重限制模型的泛化能力。为解决这一问题，我们提出了动态微调（Dynamic Fine-Tuning, DFT），通过根据每个词元（token）出现的概率动态缩放目标函数，从而稳定每个词元的梯度更新。令人瞩目的是，这一仅需修改一行代码的简单改动，便在多个具有挑战性的基准测试和不同基础模型上显著优于标准SFT，展现出显著提升的泛化性能。此外，我们的方法在离线强化学习（offline RL）设置下也表现出具有竞争力的结果，提供了一种高效且更简洁的替代方案。本工作将理论洞察与实际解决方案相结合，显著提升了SFT的性能。相关代码将开源，地址为：https://github.com/yongliang-wu/DFT。