要約
多くの学習アルゴリズムは、近似される関数のスケールに対して不変ではありません。本稿では、学習に使用されるターゲットを適応的に正規化することを提案します。これは、価値に基づく強化学習において特に有用です。行動方策を更新する際に、適切な価値近似の大きさが時間とともに変化するためです。我々の主な動機は、Atariゲームのプレイを学習するための先行研究にあります。その研究では、報酬がすべて事前に決定された範囲にクリッピングされていました。このクリッピングは、単一の学習アルゴリズムで多くの異なるゲームを学習するのに役立ちますが、クリッピングされた報酬関数は質的に異なる行動を引き起こす可能性があります。適応的な正規化を使用することで、このドメイン固有のヒューリスティックを除去し、全体的な性能を低下させることなく改善することができます。