同じ戦略これは、サンプルを生成するためのストラテジがネットワーク更新パラメータのストラテジと同じであることを意味します。現在のストラテジに基づいて次のアクションの選択を直接実行し、このサンプルを使用してストラテジを更新します。学習中の戦略。

SARSA アルゴリズム

SARSA (State-Action-Reward-State-Action) は、マルコフ決定プロセス戦略を学習するためのアルゴリズムであり、通常、機械学習分野の強化学習で使用されます。

SARSAアルゴリズムのポイント

• 状態 s' にあるときは、どの a' を選択してこのアクションを実行するかがわかります。
• アクション a の選択は e-greedy 戦略に従い、目標 Q 値の計算は e-greedy 戦略によって得られたアクション a' に基づいて計算されるため、on-policy 学習になります。

同じ戦略の長所と短所

• 利点: 各ステップは更新できるため、学習速度が速く、結果が出ない場面にも対処でき、応用範囲が広い。
• 短所: 探索と利用の間に矛盾が生じます。既知の最適な選択肢のみを使用し、最適な解を学習できない可能性があり、探索を追加すると学習効率が低下します。

同じ戦略と異なる戦略

同じ戦略と異なる戦略の違いは、Q 値を更新するときに、確立された戦略を使用するか、新しい戦略を使用するかです。