Tala Aljaafari Varun Kanade Philip Torr Christian Schroeder de Witt

초록

안전 중심 환경에서 강화학습(RL)을 적용하는 데는 분포 변화에 취약하다는 제약이 존재한다. 본 연구에서는 RL 시계열 데이터에 대한 분포 외(OOD) 탐지 문제를 탐구하며, 표현 중심 파이프라인을 단순한 대안으로 재검토하는 두 통계량 기반 탐지기인 DEEDEE를 제안한다. DEEDEE는 에피소드 단위 평균과 학습 데이터 요약과의 RBF 커널 유사도만을 사용하여 전역적이고 국소적인 이상 현상을 보완적으로 포착한다. 단순한 구조에도 불구하고, DEEDEE는 표준 RL OOD 벤치마크에서 현존하는 최첨단 탐지기들과 비교해 성능을 균등하거나 상회하며, 계산량(FLOPs/벽시계 시간 기준)을 최대 600배 감소시키고 강력한 기준 모델 대비 평균 5%의 절대 정확도 향상을 달성한다. 개념적으로, 본 연구 결과는 다양한 이상 유형이 RL 경로에 낮은 차수의 통계량 집합을 통해 뚜렷한 인상을 남긴다는 점을 시사하며, 이는 복잡한 환경에서 OOD 탐지의 효율적인 기반을 마련할 수 있음을 시사한다.