強化学習は、大規模言語モデルの事後訓練におけるパラダイムとして注目され、その推論能力を向上させる効果を発揮している。こうしたアプローチは、各サンプルに対して期待値と比較した優劣を示すアドバンテージ値を計算し、学習に向けた正の信号と負の信号の両方を提供する。しかし、従来の手法では、特に初期段階からこれらの信号を無差別に混合してしまうため、指導信号が曖昧になり、性能向上の限界が生じる可能性がある。この問題に対処するため、本研究ではCAPO（Curriculum Advantage Policy Optimization）を提案する。これはアドバンテージ信号に基づく適応的カリキュラム機構であり、正のアドバンテージサンプルのみを用いてイミタション学習を初期段階で起動し、堅牢な学習基盤を構築する。その後、負の信号を段階的に導入することで、識別能力を高め、複雑なシナリオにおける汎化性能を向上させる。本手法はGRPO、PPO、RLOO、Reinforce++など多様な最適化手法と互換性があり、数学的推論タスクにおいて一貫して安定かつ顕著な性能向上を達成するとともに、マルチモーダルなグラフィカルユーザーインターフェース（GUI）推論シナリオにも効果的に拡張可能である。これにより、汎用性と堅牢性を兼ね備えた最適化フレームワークとしての実力を示している。