Wertvorhersagenetzwerk

Dieses Papier schlägt eine neuartige Architektur des tiefen Reinforcement Learnings (RL) vor, die als Value Prediction Network (VPN) bezeichnet wird und modelfreie und modellbasierte RL-Methoden in ein einziges neuronales Netzwerk integriert. Im Gegensatz zu typischen modellbasierten RL-Methoden lernt das VPN ein Dynamikmodell, dessen abstrakte Zustände darauf trainiert werden, zukünftige Werte (diskontierte Summe der Belohnungen) unter Optionenbedingungen vorherzusagen, anstatt zukünftige Beobachtungen. Unsere experimentellen Ergebnisse zeigen, dass das VPN in einer stochastischen Umgebung, in der sorgfältiges Planen erforderlich ist, aber das Aufbauen eines genauen Beobachtungsvorhersagemodells schwierig ist, gegenüber sowohl modelfreien als auch modellbasierten Baselines mehrere Vorteile bietet. Darüber hinaus übertrifft das VPN den Deep Q-Network (DQN) bei mehreren Atari-Spielen sogar mit kurzfristiger Planungsvorausschau, was sein Potenzial als neue Methode zur Lern eines guten Zustandsdarstellungs zeigt.