Meistern von Atari mit diskreten Weltmodellen

Intelligente Agenten müssen aus vergangenen Erfahrungen generalisieren können, um in komplexen Umgebungen ihre Ziele zu erreichen. Weltmodelle unterstützen diese Generalisierung und ermöglichen es, Verhaltensweisen anhand imaginerter Ergebnisse zu lernen, wodurch die Sample-Effizienz gesteigert wird. Während die Lernung von Weltmodellen aus Bildeingaben für bestimmte Aufgaben in letzter Zeit möglich geworden ist, blieb die genaue Modellierung von Atari-Spielen, um daraus erfolgreiche Verhaltensweisen abzuleiten, über viele Jahre eine offene Herausforderung. Wir stellen DreamerV2 vor, einen Verstärkungslern-Agenten, der Verhaltensweisen ausschließlich aus Vorhersagen im kompakten latente Raum eines leistungsfähigen Weltmodells erlernt. Das Weltmodell verwendet diskrete Darstellungen und wird separat vom Policy-Modell trainiert. DreamerV2 ist der erste Agent, der menschenniveauähliche Leistung auf dem Atari-Benchmark mit 55 Aufgaben erreicht, indem er Verhaltensweisen innerhalb eines separat trainierten Weltmodells erlernt. Mit demselben Rechenaufwand und derselben Wanduhrzeit erreicht DreamerV2 200 Millionen Frames und übertrifft die endgültige Leistung der führenden Ein-GPU-Agenten IQN und Rainbow. DreamerV2 ist zudem auf Aufgaben mit kontinuierlichen Aktionen anwendbar, bei denen es ein genaues Weltmodell eines komplexen humanoiden Roboters lernt und Stand-up- und Gehverhalten ausschließlich aus Pixel-Eingaben erlernt.