人工知能によるロボット制御のための強化学習（RL）技術をPythonで実装する方法を紹介する。主に3つのアプローチ——Q学習、Actor-Critic、進化的アルゴリズム——を比較し、3D物理シミュレータ「MuJoCo」とGymライブラリを用いた実践的なコード例を示す。まず、OpenAIが開発したGymを用いて「Ant-v4」という四足歩行ロボットの環境をロードし、ランダムな行動で1エピソードを実行することで、基本的な動作を確認できる。この環境では、ロボットが床を掃除する際の報酬（+1）や壁に衝突した際のペナルティ（-1）を学習し、最適な行動を獲得する。 次に、自作環境の作成を紹介。ant.xmlというXMLファイルを編集し、体の密度を下げ、脚に力を加えることで「跳躍」を可能にした。さらに、Pythonクラスで報酬関数をカスタマイズ。上昇した体の高さに応じて報酬を付与し、地面に近いとエピソード終了と判断する。このカスタム環境「CustomAntEnv-v1」は、Gymに登録され、通常の環境と同様に使用可能。 Q学習は離散的行動空間に適しており、Deep Q-Network（DQN）はニューラルネットでQ値を近似する。本例では、連続的なアクションを5つの離散行動（前進・後退・前脚・後脚・両方）に分割し、DiscreteEnvWrapperクラスでラッピング。Stable-Baselines3ライブラリを使い、DQNで100万ステップ学習。訓練後、レンダリング環境で動作させると、ロボットは「跳躍」を学習するが、動きは滑らかでない。 一方、Actor-Critic（特にSAC）は連続的行動に最適。2016年にOpenAIが発表したA2Cの発展形で、行動選択（Actor）と報酬予測（Critic）を分離。SACは2つのCriticネットワークを用い、安定性と収束性を高める。本例ではSACで10万ステップ学習。結果として、より自然で効率的な跳躍が得られ、DQNより優れた性能を示す。 さらに、報酬が稀な場合に有効な進化的アルゴリズムも紹介。EvoTorchを用い、PGPE（Policy Gradients with Parameter Exploration）で、重みの確率分布から複数のポリシーを並列で試行。100世代の進化で、最良の重みを探索。カスタム環境で可視化すると、効果的な跳躍行動が得られる。 結論として、Q学習はシンプルで学習が早いが、連続空間には不向き。Actor-Critic（特にSAC）は現実的なロボット制御に最適。進化的アルゴリズムは報酬設計が難しい場合の有力な代替手段。実際の開発では、環境設計とアルゴリズム選定が成功の鍵となる。コードはGitHubで公開されている。