在机器人学中，使用Python进行强化学习（Reinforcement Learning, RL）是训练智能体自主决策的关键方法。本文介绍了三种主流RL算法在机器人控制中的应用：Q-Learning、Actor-Critic和进化算法，并通过具体代码演示如何在MuJoCo物理引擎构建的3D环境中实现。 首先，环境搭建基于Gymnasium库，加载MuJoCo的默认“Ant-v4”环境。该环境模拟一个四足机器人，目标是通过控制8个关节的力矩与推力，使其向前移动。通过随机动作运行一个完整回合，可以直观观察机器人行为，但显然无法高效学习。 为了提升训练效果，我们自定义了一个“跳跃型Ant”环境：修改XML文件降低身体密度并增强腿部驱动力，同时重构奖励函数，使机器人在躯干高度超过0.6米时获得奖励，从而鼓励跳跃行为。通过继承原环境类并重写step和CUSTOM_REWARD方法，我们创建了CustomAntEnv-v1，并注册为可调用环境。 接下来，针对不同算法特点选择合适策略： Q-Learning（DQN）：适用于离散动作空间。由于原环境动作连续，需封装为离散动作类DiscreteEnvWrapper，将5种动作（如前进、后退、前后腿交替）映射为连续控制信号。使用Stable-Baselines3中的DQN模型训练，尽管学习效果有限，但机器人最终学会跳跃，动作仍显僵硬，因离散化损失了连续控制的平滑性。 Actor-Critic（SAC）：更适合连续动作空间。SAC结合策略网络（Actor）与价值网络（Critic），通过最大化预期奖励来优化行为。使用SAC在CustomAntEnv-v1上训练，虽耗时更长（约3小时），但结果显著：机器人能流畅跳跃、稳定前进，动作自然，体现其在复杂控制任务中的优势。 进化算法（PGPE）：一种实验性方法，不依赖梯度更新。PGPE通过在权重空间构建高斯分布，批量采样不同策略，根据奖励反馈动态调整均值与方差，实现并行探索。使用EvoTorch库，直接在自定义环境上运行，无需反向传播。该方法在稀疏奖励或难以设计奖励函数的场景中表现突出，但训练过程较慢，适合探索性研究。 总结：Q-Learning适合简单、离散任务；Actor-Critic（如SAC）是当前机器人控制的主流选择，性能稳定高效；进化算法则为特殊问题提供强大备选方案。通过合理设计环境与选择算法，Python可成为构建智能机器人的有力工具。完整代码已开源至GitHub，供实践参考。