时序差分学习（Temporal Difference Learning，简称TD学习）是强化学习中第三种核心方法，也是目前应用最广泛、最强大的技术之一。如果说蒙特卡洛方法依赖完整Episode的回报来更新价值函数，而动态规划依赖模型进行状态转移的精确计算，那么TD学习则巧妙地融合了两者的优点，实现了无需完整轨迹、又能在线学习的高效机制。 TD学习的核心思想是：在每一步决策后，就基于当前估计值和实际观察到的奖励，对价值函数进行局部更新。它利用“当前估计”与“下一时刻的估计”之间的差异——即“时序差分误差”——来逐步优化策略。这种机制既避免了蒙特卡洛方法必须等待Episode结束才能更新的延迟，又不像动态规划那样依赖环境的完整模型，因而具备更强的实用性与适应性。 例如，在SARSA算法中，TD学习通过当前状态-动作对的价值，结合即时奖励和下一状态-动作对的估计值，不断迭代逼近真实价值。这使得智能体可以在与环境交互的过程中持续学习，而无需等待完整回合结束。 正因为其高效、灵活、适合在线学习的特性，TD学习已成为深度强化学习（如DQN、SARSA、Q-learning等）的基石。无论是游戏AI、机器人控制，还是推荐系统，TD方法都展现出强大的性能和广泛的应用前景。掌握TD学习，意味着真正迈入了强化学习的核心领域。