Modellfreies episodisches Control mit Zustandsaggregation

Episodische Steuerung bietet eine äußerst sample-effiziente Methode für das Verstärkungslernen, setzt jedoch hohe Anforderungen an Speicher und Rechenleistung. In dieser Arbeit wird ein einfacher Heuristikansatz vorgeschlagen, um diese Anforderungen zu reduzieren, und eine Anwendung auf das modellfreie episodische Steuerungsverfahren (MFEC) wird präsentiert. Experimente an Atari-Spielen zeigen, dass diese Heuristik die computationallyen Anforderungen von MFEC erfolgreich verringert, ohne bei konservativen Einstellungen der Hyperparameter eine signifikante Leistungsverschlechterung zu verursachen. Folglich wird episodische Steuerung bei der Bearbeitung von Aufgaben im Bereich des Verstärkungslernens zu einer praktikableren Option.