Tala Aljaafari Varun Kanade Philip Torr Christian Schroeder de Witt

Abstract

Die Anwendung von Verstärkendem Lernen (Reinforcement Learning, RL) in sicherheitskritischen Anwendungen ist durch Empfindlichkeit gegenüber Verteilungsverschiebungen eingeschränkt. Wir untersuchen die Erkennung von außerhalb der Verteilung liegenden (out-of-distribution, OOD) Daten in RL-Zeitreihen und stellen DEEDEE vor, einen zweistatistischen Detektor, der bestehende, rechenaufwändige Ansätze auf der Basis von Repräsentationen mit einer minimalen, effizienten Alternative ersetzt. DEEDEE nutzt lediglich das episodenhafte Mittel und die Ähnlichkeit basierend auf einem RBF-Kern zu einer Zusammenfassung des Trainingsdatensatzes, um sowohl globale als auch lokale Abweichungen komplementär zu erfassen. Trotz seiner Einfachheit erreicht DEEDEE oder übertrifft die Leistung moderner Detektoren in etablierten OOD-Suiten für RL, wobei sich die Rechenkosten (FLOPs / Laufzeit) um den Faktor 600 reduzieren und im Durchschnitt eine absolute Genauigkeitssteigerung von 5 % gegenüber starken Baselines erzielt wird. Konzeptionell zeigen unsere Ergebnisse, dass unterschiedliche Anomalietypen in RL-Verläufen oft durch eine kleine Menge niedriger Ordnungssummen abgebildet werden, was auf eine kompakte Grundlage für die OOD-Erkennung in komplexen Umgebungen hindeutet.