FDQN: Ein flexibles Deep Q-Network-Framework für die Automatisierung von Spielen

Im Bereich des Reinforcement Learnings ist es oft schwierig, hochdimensionale und schnelle Entscheidungen in dynamischen Umgebungen zu automatisieren, insbesondere wenn Domains eine Echtzeit-Online-Interaktion und anpassungsfähige Strategien erfordern, wie dies bei webbasierten Spielen der Fall ist. Diese Arbeit schlägt ein neuestes Framework für ein flexibles Deep Q-Network (FDQN) vor, das diese Herausforderung mit einem selbstanpassenden Ansatz bewältigen kann. Dabei werden hochdimensionale sensorische Daten in Echtzeit mithilfe eines CNN verarbeitet und die Modellarchitektur dynamisch an die variablen Aktionen verschiedener Spielumgebungen angepasst. Das FDQN übertrifft dabei die bisherigen Basismodelle in verschiedenen Atari-Spielen sowie im Chrome-Dino-Spiel. Durch die Anwendung der Epsilon-Greedy-Politik wird das Gleichgewicht zwischen neuem Lernen und Ausnutzung bestehender Kenntnisse effektiv gewahrt, um eine verbesserte Leistung zu erzielen. Das Framework wurde modulare gestaltet, sodass es leicht an andere HTML-basierte Spiele angepasst werden kann, ohne den Kernbereich des Systems zu verändern. Es wird gezeigt, dass das FDQN-Framework unter Laborbedingungen eine gut definierte Aufgabe erfolgreich lösen kann; wichtiger jedoch ist die Diskussion potentieller Anwendungen auf anspruchsvollere reale Fälle und seine Verwendung als Ausgangspunkt für zukünftige Forschungen zur automatisierten Spielsteuerung und darüber hinausgehende Bereiche.