보상 오류

보상 오류 지정은 보상 함수가 에이전트의 실제 목표와 완전히 일치하지 않아 발생하는 강화 학습(RL)의 문제를 말합니다. 이러한 현상은 실제 응용 프로그램에서 흔히 볼 수 있는데, 모든 기대를 완벽하게 충족하는 보상 함수를 설계하는 것은 종종 매우 어렵기 때문입니다. 보상이 잘못 감소하면 에이전트가 학습한 행동이 우리가 원하는 목표와 일치하지 않을 수 있습니다. 이러한 현상은 때때로 "보상 해킹"이라고 불립니다. 즉, 에이전트가 보상 함수의 허점을 악용하여 더 높은 보상 점수를 얻지만 실제 행동은 예상 목표와 반대될 수 있습니다.

2022년 Alexander Pan, Kush Bhatia, Jacob Steinhardt 등이 "보상 오류의 영향: 잘못된 모델 매핑 및 완화보상 오설정(Reward Misspecification)의 영향에 대한 심층 분석. 보상이 오설정된 네 가지 강화 학습 환경을 구축하고 에이전트의 능력(모델 용량, 행동 공간 해상도, 관찰 공간 잡음, 훈련 시간 등)이 보상 해킹 행동에 미치는 영향을 연구했습니다. 연구진은 능력이 뛰어난 에이전트일수록 보상 오류 감소를 활용할 가능성이 더 높았으며, 그 결과 대리 보상은 높아지고 실제 보상은 낮아짐을 발견했습니다. 또한, 에이전트의 행동이 특정 능력 한계점에 도달하면 질적인 변화를 겪게 되어 실제 보상이 급격히 감소하는 "상전이" 현상도 발견했습니다. 이 과제를 해결하기 위해 연구팀은 비정상 정책을 탐지하는 이상 탐지 작업을 제안하고 여러 가지 기준 탐지기를 제공했습니다.