Wenfeng Feng Penghong Zhao Guochao Jiang Chuzhan Hao Yuewei Zhang Hao Wang

要約

批判を伴わない強化学習手法、特にグループ方策（group policies）は、複雑なタスクにおける効率性から注目を集めている。しかし、これらの手法は、アドバンテージを推定するために方策内での複数回のサンプリングと比較に大きく依存しており、これが局所最適解に陥るリスクを高めるとともに、計算コストの増加を招く可能性がある。こうした課題を解決するため、本研究では、アドバンテージの参照アンカーとデータ事前サンプリングを活用した効率的な強化学習手法「PVPO」を提案する。具体的には、事前に参照モデルを用いてロールアウトを行い、得られた報酬スコアを参照アンカーとして用いる。本手法により、グループ内比較によって生じる累積バイアスを効果的に補正でき、ロールアウト回数への依存度を大幅に低減することができる。さらに、参照モデルはデータ事前サンプリング段階でサンプルの難易度を評価でき、高利得データの効果的な選別を可能にし、学習効率の向上を実現する。2つのドメインにまたがる9つのデータセットを用いた実験結果から、PVPOが最先端（SOTA）の性能を達成することが確認された。本手法は、複数のタスクにわたる堅牢な汎化性能を示すとともに、モデルのスケールが異なる場合にもスケーラブルな性能を発揮することが明らかになった。