Cadre hiérarchique pour un apprentissage par renforcement sûr fondé sur des modèles, interprétable et probabiliste

La difficulté d’identifier le modèle physique des systèmes complexes a conduit à explorer des méthodes ne reposant pas sur une modélisation aussi complexe de ces systèmes. L’apprentissage par renforcement profond s’est imposé comme une approche pionnière pour résoudre ce problème, en n’ayant pas besoin de recourir au modèle physique du système, mais en interagissant directement avec lui. Toutefois, cette méthode repose sur une approche « boîte noire », ce qui rend son application dans des systèmes réels et critiques pour la sécurité difficile, en l’absence d’explications claires sur les actions prises par le modèle. En outre, une question de recherche ouverte dans le domaine de l’apprentissage par renforcement profond concerne la manière de concentrer l’apprentissage de la politique sur les décisions critiques au sein de domaines à récompenses rares. Ce papier propose une nouvelle approche pour l’application de l’apprentissage par renforcement profond dans des systèmes critiques pour la sécurité. Elle combine les avantages des modèles probabilistes et de l’apprentissage par renforcement, tout en offrant une interprétabilité accrue, et fonctionne en collaboration et synchronisation avec des stratégies conventionnelles de prise de décision. Le BC-SRLA est activé dans des situations spécifiques, identifiées de manière autonome à partir de l’information fusionnée provenant du modèle probabiliste et de l’apprentissage par renforcement, telles que des conditions anormales ou lorsque le système est proche de la défaillance. De plus, il est initialisé à l’aide d’une politique de base via une technique de cloning de politique, afin de minimiser les interactions avec l’environnement et de surmonter les défis liés à l’utilisation de l’apprentissage par renforcement dans les industries critiques pour la sécurité. L’efficacité du BC-SRLA est démontrée à travers une étude de cas dans le domaine de la maintenance appliquée aux moteurs-fan turbo, où il présente des performances supérieures par rapport aux méthodes existantes et aux benchmarks.