Algorithme Acteur-critique

Algorithme de critique du comportement L'algorithme acteur-critique est un algorithme d'apprentissage par renforcement qui combine un réseau de politiques et une fonction de valeur pour calculer la probabilité que différentes actions soient entreprises dans différents états grâce aux informations de récompense et de punition des résultats. On l'appelle aussi algorithme AC.

L'algorithme critique du comportement conçoit deux réseaux neuronaux, mettant à jour à chaque fois les paramètres dans un état continu, et il existe une corrélation avant et après chaque mise à jour des paramètres. Comparé au réseau de politiques traditionnel, il présente une meilleure efficacité d’apprentissage et de meilleures performances, mais il est sujet à des biais et ne peut produire que des solutions optimales locales.

Avantages de l'algorithme AC

• Une meilleure convergence
• Les dimensions supérieures et les espaces d'action continus fonctionnent mieux
• Une stratégie stochastique peut être utilisée

Inconvénients de l'algorithme AC

• Habituellement, la solution optimale locale est obtenue
• Les stratégies d’évaluation sont inefficaces et comportent un biais élevé