Schauspieler-Kritiker-Algorithmus

Verhaltenskritik-Algorithmus Der Actor-Critic-Algorithmus ist ein Verstärkungslernalgorithmus, der ein Richtliniennetzwerk und eine Wertfunktion kombiniert, um anhand der Belohnungs- und Bestrafungsinformationen der Ergebnisse die Wahrscheinlichkeit zu berechnen, mit der unter verschiedenen Bedingungen unterschiedliche Aktionen ausgeführt werden. Er wird auch AC-Algorithmus genannt.

Der verhaltenskritische Algorithmus entwirft zwei neuronale Netzwerke, wobei die Parameter jedes Mal in einem kontinuierlichen Zustand aktualisiert werden und vor und nach jeder Parameteraktualisierung eine Korrelation besteht. Im Vergleich zum herkömmlichen Richtliniennetzwerk weist es eine bessere Lerneffizienz und Leistung auf, ist jedoch anfällig für Verzerrungen und kann nur lokal optimale Lösungen hervorbringen.

Vorteile des AC-Algorithmus

• Bessere Konvergenz
• Höhere Dimensionen und kontinuierliche Aktionsräume funktionieren besser
• Stochastische Strategie kann verwendet werden

Nachteile des AC-Algorithmus

• Normalerweise erhält man die lokale Optimallösung
• Bewertungsstrategien sind ineffizient und weisen eine hohe Verzerrung auf