Entraîner un planificateur de trajet local réel en une heure via un apprentissage par renforcement partiellement découplé et une diversité vectorisée

L'apprentissage par renforcement profond (DRL) a démontré son efficacité dans la résolution du problème de planification de trajet local (LPP). Toutefois, son application dans le monde réel reste très limitée en raison de l'inefficacité d'entraînement et de la faible capacité de généralisation des algorithmes DRL. Pour atténuer ces deux défis, nous proposons une solution intitulée Color, composée d’un cadre d’entraînement Actor-Sharer-Learner (ASL) et d’un simulateur orienté robot mobile nommé Sparrow. Plus précisément, le cadre ASL vise à améliorer l’efficacité de l’entraînement des algorithmes DRL. Il utilise un mode de collecte de données vectorisées (VDC) afin d’accélérer l’acquisition des données, découple la collecte des données de l’optimisation du modèle grâce à la multithreading, et relie partiellement ces deux étapes grâce à un mécanisme de retour temporel (TFM), permettant d’éviter à la fois le sous-utilisation et le surutilisation des données. Par ailleurs, le simulateur Sparrow repose sur un monde basé sur une grille 2D, des cinématiques simplifiées et un flux de données sans conversion, ce qui permet une conception légère. Cette légèreté favorise la diversité vectorisée, permettant ainsi des configurations de simulation diversifiées à travers de nombreuses copies d’environnements vectorisés, entraînant ainsi une amélioration significative de la capacité de généralisation de l’algorithme DRL entraîné. Des expériences approfondies, comprenant 57 environnements standards de DRL, 32 scénarios simulés et 36 scénarios réels de LPP, ont été menées afin de valider l’efficacité et la supériorité de notre méthode en termes d’efficacité et de généralisation. Le code source et la vidéo associées à cet article sont disponibles à l’adresse suivante : https://github.com/XinJingHao/Color.