Hierarchisches Framework für interpretierbares und probabilistisches modellbasiertes sicheres Reinforcement Learning

Die Schwierigkeit, das physikalische Modell komplexer Systeme zu identifizieren, hat zur Erforschung von Methoden geführt, die nicht auf eine detaillierte Modellierung dieser Systeme angewiesen sind. Deep Reinforcement Learning (DRL) hat sich als Pionier etabliert, um dieses Problem zu lösen, ohne auf ein physikalisches Modell des Systems zurückgreifen zu müssen, sondern lediglich durch Interaktion mit dem System. Allerdings basiert DRL auf einem Black-Box-Lernansatz, was die Anwendung in realen, sicherheitskritischen Systemen erschwert, da die vom Modell abgeleiteten Handlungen nicht erklärbar sind. Zudem bleibt eine offene Forschungsfrage in der DRL, wie die Politiklernung kritischer Entscheidungen innerhalb eines spärlichen Entscheidungsraums effizient gesteuert werden kann. In diesem Artikel wird ein neuartiger Ansatz für die Anwendung von Deep Reinforcement Learning in sicherheitskritischen Systemen vorgestellt. Der Ansatz kombiniert die Vorteile der probabilistischen Modellierung und des Reinforcement Learnings mit zusätzlichen Vorteilen hinsichtlich Interpretierbarkeit und arbeitet kooperativ und synchron mit herkömmlichen Entscheidungsstrategien. Das BC-SRLA (Behavior Cloning-based Safe Reinforcement Learning with Adaptation) wird autonom in spezifischen Situationen aktiviert, die durch die integrierte Information aus probabilistischem Modell und Reinforcement Learning erkannt werden, beispielsweise bei abnormalen Zuständen oder wenn das System nahe am Ausfall ist. Zudem wird es mit einer Baseline-Politik initialisiert, die mittels Policy Cloning erzeugt wird, um die Anzahl der Interaktionen mit der Umgebung auf ein Minimum zu reduzieren und die Herausforderungen bei der Anwendung von RL in sicherheitskritischen Industrien zu bewältigen. Die Wirksamkeit des BC-SRLA wird anhand einer Fallstudie im Bereich der Wartung an Turbomotoren nachgewiesen, wobei er eine überlegene Leistung gegenüber bestehenden Verfahren und anderen Benchmarks zeigt.