마이크로소프트, AI 에이전트 백엔드 상태 검증 벤치마크 출시
마이크로소프트와 허깅페이스는 최근 AI 에이전트의 실제 업무 수행 능력을 평가하는 벤치마크 플랫폼 'ThinkingBox'를 공식 공개했다. 이번 벤치마크는 기존 평가 방식이 에이전트의 언어 생성 품질이나 도구 호출 횟수에 치우친 점을 개선하고, 백엔드 데이터베이스의 최종 상태와 시스템 사이드 이펙트를 엄격하게 검증하는 데 목적을 둔다. 507개의 상태 의존형 비즈니스 워크플로우를 대상으로 개발되었으며, 허깅페이스와 OpenEnv 인터페이스를 통해 오픈소스로 배포된다. ThinkingBox의 핵심 평가 기준은 실행의 일관성이다. 각 워크플로우는 동일한 초기 상태에서 20회 반복 테스트되며, pass@1과 pass@20, 그리고 observed 20/20 지표를 통해 에이전트의 신뢰도를 분석한다. 연구 결과, 상위 성능을 보인 모델일수록 단일 시도에서는 높은 성공률을 기록했으나 20회 반복 시 점수 유지율은 급격히 하락하는 현상이 확인됐다. 특히 도메인별 편차가 뚜렷해 특정 업계에서는 높은 점수를 기록한 모델이 다른 분야에서는 절반 이하의 성능을 나타냈다. 이는 에이전트 선택 시 단일 벤치마크 점수보다 실제 데이터베이스 상태 변경을 검증하는 관점이 필수적임을 시사한다. 실패 분석을 통해서는 에이전트 오류의 본질이 추론 단계가 아닌 도구 처리 및 상태 관리에 있음을 발견했다. 전체 실행 실패 사례 중 약 80%가 도구 호출 오류, 미완성 업데이트, 또는 예상치 못한 사이드 이펙트에서 기인했다. 이는 복잡한 언어 모델보다는 안정적인 오류 복구 메커니즘과 상태 검증 로직이 실제 비즈니스 환경에서 더 중요함을 보여준다. 또한 비용 효율성 분석을 통해 단일 시도당 최저 비용 모델과 20회 완전 성공 기준의 가장 저렴한 모델이 일치하지 않음을 확인했다. 엔터프라이즈급 신뢰도를 보장하는 에이전트는 운영 비용이 크게 증가하는 구조로, 기업은 워크플로우 안정성과 예산 사이에서 정교한 타협점을 도출해야 한다. ThinkingBox는 현재 오픈소스로 코드와 데이터셋이 공개되었으며, 테스트 환경과 평가 도구는 OpenEnv를 통해 즉시 구축이 가능하다. Microsoft Copilot Studio 팀을 비롯한 다수 연구진과 협업하여 개발된 이번 플랫폼은 AI 에이전트 평가의 패러다임을 언어 품질 중심에서 상태 검증 중심으로 전환할 것으로 기대된다. 기업 개발자는 벤치마크 결과와 개방형 아키텍처를 바탕으로 실제 서비스에 적용 가능한 에이전트의 일관성과 오류 복구 능력을 사전 검증할 수 있게 되었다.
