Tala Aljaafari Varun Kanade Philip Torr Christian Schroeder de Witt

Résumé

Le déploiement de l’apprentissage par renforcement (RL) dans des contextes critiques pour la sécurité est freiné par sa fragilité en cas de décalage de distribution. Nous étudions la détection d’observations hors distribution (OOD) dans le cadre du RL sur séries temporelles, et introduisons DEEDEE, un détecteur basé sur deux statistiques qui reconsidère les approches intensives en représentations en proposant une alternative minimale. DEEDEE n’utilise que la moyenne par épisode et une similarité basée sur un noyau RBF par rapport à un résumé d’entraînement, permettant de capturer des déviations globales et locales complémentaires. Malgré sa simplicité, DEEDEE égale ou dépasse les détecteurs contemporains sur des benchmarks standards de détection OOD en RL, offrant une réduction de 600 fois en ressources informatiques (FLOPs / temps réel) et une amélioration moyenne de 5 % en précision absolue par rapport à des baselines performantes. Conceptuellement, nos résultats suggèrent que divers types d’anomalies se manifestent souvent sur les trajectoires de RL à travers un petit ensemble de statistiques d’ordre faible, ouvrant la voie à une base compacte pour la détection OOD dans des environnements complexes.