Q-Learning：掌握时序差分学习的第二项核心技术 上一次，我们学习了时序差分（Temporal Difference, TD）学习的基本概念，并深入探讨了第一个方法——SARSA（基于策略的TD控制）。SARSA通过当前策略产生的动作来更新Q值，属于典型的“在策略”（on-policy）方法。 这一次，我们将进入另一个关键的TD方法：Q-Learning，它是一种“离策略”（off-policy）的TD控制算法。 Q-Learning的核心思想在于：它不依赖于当前策略来选择动作，而是通过一个“最优”动作的估计来更新Q值。换句话说，它学习的是“最优动作价值函数”，而无需严格遵循当前采取的动作。这使得Q-Learning在探索和利用之间更具灵活性。 其更新规则如下： Q(s, a) ← Q(s, a) + α [r + γ maxₐ' Q(s', a') − Q(s, a)] 这个公式的关键在于：它使用了下一状态s'中所有可能动作中Q值的最大值（maxₐ' Q(s', a')），而不是根据当前策略选择的动作。这正是“离策略”特性所在——它用一个“理想”的动作值来指导学习，即使实际行为是由另一个策略产生的。 与SARSA类似，Q-Learning也结合了指数移动平均（EMA）的思想和贝尔曼方程。只不过，SARSA使用的是当前策略下的下一个动作值，而Q-Learning使用的是最大可能的下一个动作值。 因此，Q-Learning本质上是将贝尔曼最优方程与EMA更新机制相结合，实现对最优Q函数的渐进逼近。 正因为其离策略的特性，Q-Learning在许多强化学习任务中表现优异，尤其适合那些需要探索最优策略的场景。它为后续更复杂的算法（如Deep Q-Network, DQN）奠定了基础。 下一篇文章，我们将通过一个具体例子，展示Q-Learning如何让机器人在迷宫中自主学习最优路径。