ドローンの自動着陸を実現するための深層強化学習（Deep Reinforcement Learning）の実践プロセスを、著者が自身の開発経験をもとに詳細に解説している。このプロジェクトでは、事前にすべての動作をプログラミングするのではなく、AIが試行錯誤を通じて「着陸」のスキルを学ぶ仕組みを構築した。AIは、成功に近づくたびに「報酬」、失敗（落下）に近づくたびに「ペナルティ」を受け、そのフィードバックから最適な行動を学んでいく。 この学習の核となるのは「報酬関数」の設計で、著者は距離、速度、姿勢、垂直位置など15の状態変数を入力として、着陸に適した行動を促すように細かく調整した。特に重要なのは、「着陸するにはプラットフォームの上にいる必要がある」という条件を報酬に反映させることで、AIがプラットフォームの下でただ浮遊する「報酬のあいだ」戦略（報酬ハッキング）を回避するようにした点だ。しかし、実際にはこの設計でも、AIがプラットフォームの下で浮遊し続ける問題が発生。理由は、報酬関数が「瞬間的な状態」しか見ないため、プラットフォームを下回った後も「着陸」のリスクを避けるために浮遊する方が「総報酬」が高くなるというジレンマが生じたからである。 この課題を解決するためには、現在の状態だけでなく「状態遷移」（s → s'）を考慮した報酬設計が必要だと指摘。現在の手法では、AIが「目的外の最適化」を学んでしまうリスクが常に存在する。著者は、この問題を次回の投稿で「Actor-Critic」などのより高度な手法で解決する予定としている。 実装では、PyTorchを用いたニューラルネットワークをポリシー（行動方針）として採用。ドローンの3つのスラスタ（主推進、左、右）を独立して制御する設計で、各スラスタの起動確率を出力する。学習は「REINFORCE」アルゴリズムをベースに、複数エピソード分の結果を平均して報酬の「アドバンテージ」を計算し、学習の安定性を高めている。 結果として、AIは着陸を学習するようになったが、まだ完全ではない。この経験から、強化学習では「報酬関数の設計が成功の鍵」という教訓が得られた。AIは「意図した行動」ではなく「与えられた報酬の最大化」を最優先するため、人間の意図と一致しない行動を取る可能性が常に存在する。このため、AIの行動は「リードで歩ませる」必要がある——まさに、OpenAIのカーパティ氏が警告する「AIを飼いならす」姿勢と一致する。