컴패스베리파이어: LLM 평가 및 결과 보상용 통합적이고 강건한 검증기

정답 검증은 대규모 언어 모델(LLM)의 성능을 표준 정답과 비교하여 평가하는 데 필수적이며, 동시에 LLM 최적화를 안내하는 보상 모델로도 기능한다. 현재 대부분의 평가 프레임워크는 정규화된 매칭 방식을 사용하거나 일반적인 LLM을 활용해 정답을 검증하지만, 이는 정규표현식(Regex) 규칙이나 평가 프롬프트에 대해 지속적으로 반복적인 맞춤 설정이 필요하다. 기존 방법론에는 두 가지 근본적인 한계가 존재한다. 첫째, 다양한 LLM에 대한 검증 능력을 체계적으로 평가할 수 있는 포괄적인 벤치마크가 부족하다는 점이며, 둘째, 검증 모델 개발 단계가 초기 단계에 머물러 있어, 복잡한 경계 사례를 처리하는 강건성과 다양한 도메인 간 일반화 능력이 부족하다는 점이다. 본 연구에서는 평가 및 결과 보상에 적합한 정확하고 강건한 경량 검증 모델인 CompassVerifier를 개발하였다. 이 모델은 수학, 지식, 다양한 추론 과제에 걸쳐 다영역 능력을 보이며, 다중 하위문제, 수식, 시퀀스 형식의 정답 등 다양한 형식의 응답을 처리할 수 있으며, 비정상적 또는 무효 응답을 효과적으로 탐지할 수 있다. 또한, 다양한 데이터 소스에서 수집한 모델 출력물을 기반으로 구성된 VerifierBench 벤치마크를 제안하며, 메타오류 패턴의 수동 분석을 통해 이를 보강하여 CompassVerifier의 성능을 향상시켰다. 우리는 CompassVerifier와 VerifierBench가 정답 검증, 평가 프로토콜, 강화학습 연구의 발전에 기여할 것으로 기대한다. 코드와 데이터셋은 https://github.com/open-compass/CompassVerifier 에서 제공된다.