Der Actor-Critic-Algorithmus (AC) ist ein Reinforcement-Learning-Algorithmus, der ein Policy-Netzwerk und eine Wertfunktion kombiniert, um die Wahrscheinlichkeit zu berechnen, mit der verschiedene Aktionen in verschiedenen Zuständen auf der Grundlage der Belohnungs- und Bestrafungsinformationen der Ergebnisse ausgeführt werden.

Der verhaltenskritische Algorithmus entwirft zwei neuronale Netzwerke, wobei die Parameter jedes Mal in einem kontinuierlichen Zustand aktualisiert werden und vor und nach jeder Parameteraktualisierung eine Korrelation besteht. Im Vergleich zum herkömmlichen Richtliniennetzwerk weist es eine bessere Lerneffizienz und Leistung auf, ist jedoch anfällig für Verzerrungen und kann nur lokal optimale Lösungen hervorbringen.

Vorteile des AC-Algorithmus

• Bessere Konvergenz
• Höhere Dimensionen und kontinuierliche Aktionsräume funktionieren besser
• Stochastische Strategie kann verwendet werden

Nachteile des AC-Algorithmus

• Normalerweise erhält man die lokale Optimallösung
• Bewertungsstrategien sind ineffizient und weisen eine hohe Verzerrung auf