NiceWebRL: 강화학습 환경을 활용한 인간 피실험자 실험을 위한 파이썬 라이브러리

우리는 기계 강화학습(RL) 환경을 활용하여 온라인 인간 피실험자 실험을 수행할 수 있도록 지원하는 연구 도구인 NiceWebRL을 제안한다. NiceWebRL은 Jax 기반 환경을 온라인 인터페이스로 변환할 수 있는 파이썬 라이브러리로, 단일 에이전트 및 다중 에이전트 환경 모두를 지원한다. 이를 통해 AI 연구자들은 자신의 알고리즘을 인간의 성능과 비교할 수 있으며, 인지과학자들은 머신러닝 알고리즘을 인간 인지 이론으로 검증할 수 있고, 다중 에이전트 연구자들은 인간-에이전트 협업을 위한 알고리즘을 개발할 수 있다. 본 연구에서는 인간과 유사한 AI, 인간과 호환 가능한 AI, 인간을 보조하는 AI를 개발하는 데 있어 NiceWebRL의 잠재력을 보여주는 3가지 사례 연구를 제시한다. 첫 번째 사례 연구(인간과 유사한 AI)에서는 NiceWebRL을 활용해 인지 모델의 새로운 RL 기반 접근법을 개발하였다. 이 모델은 격자 세계와 2D 마인크래프트 환경인 Craftax에서 인간 참가자들과의 비교 실험을 통해 검증되었다. 두 번째 사례 연구(인간과 호환 가능한 AI)에서는 Overcooked 환경에서 인간 파트너와의 일반화가 가능한 새로운 다중 에이전트 RL 알고리즘을 개발하는 데 NiceWebRL이 기여하였다. 마지막으로 세 번째 사례 연구(인간을 보조하는 AI)에서는 NiceWebRL을 통해 LLM이 XLand-Minigrid 환경(수백만 개의 계층적 작업이 포함된 환경)에서 복잡한 과제 수행 시 인간을 어떻게 보조할 수 있는지 연구하는 방법을 제시한다. 이 라이브러리는 다음 URL에서 제공된다.