Contrôle épisodique sans modèle avec agrégation d'états

Le contrôle épisodique offre une méthode très efficace en termes d’échantillonnage pour l’apprentissage par renforcement, tout en imposant des exigences élevées en mémoire et en calcul. Ce travail propose une heuristique simple visant à réduire ces contraintes, et présente une application à un contrôle épisodique sans modèle (MFEC). Des expériences menées sur des jeux Atari montrent que cette heuristique permet effectivement de réduire les besoins computationnels du MFEC, sans entraîner de perte significative de performance lorsque des valeurs conservatrices des hyperparamètres sont utilisées. En conséquence, le contrôle épisodique devient une option plus réaliste pour la résolution de tâches d’apprentissage par renforcement.