後学習は、大規模言語モデルを特定のタスクや人間の好みに合わせて精密調整する上で重要な役割を果たす。近年の後学習技術の進展、例えば相対的報酬スコアリングを用いたサンプリングを拡張するグループ相対方策最適化（GRPO）は、優れた性能を達成しているが、しばしば訓練の不安定性を引き起こし、実用的な導入を制限している。このような課題を踏まえ、本研究ではグループ分散方策最適化（GVPO）を提案する。GVPOは、KL制約付き報酬最大化問題の解析解を勾配重みに直接組み込むことで、最適方策との整合性を確保している。本手法には直感的な物理的解釈が可能であり、その勾配は、暗黙の報酬の中心距離と実際の報酬の中心距離の間の平均二乗誤差に類似している。GVPOの主な利点は以下の2点である：（1）一意の最適解が保証され、それはまさにKL制約付き報酬最大化の目的関数と一致する；（2）ポリシー依存のサンプリングや重要度サンプリングの制約を回避できる柔軟なサンプリング分布のサポート。理論的保証と実用的な柔軟性を統合することで、GVPOは信頼性と汎用性に優れたLLM後学習の新しいパラダイムを確立した。