Pierre Andrews Amine Benhalloum Gerard Moreno-Torres Bertran Matteo Bettini Amar Budhiraja et al

초록

메타 에이전트 연구 환경(Meta Agents Research Environments, ARE)을 소개한다. ARE는 확장 가능한 환경 구축, 합성 또는 실제 애플리케이션의 통합, 에이전트 기반 오케스트레이션의 실행을 위한 연구 플랫폼이다. ARE는 각각 고유한 규칙, 도구, 콘텐츠, 검증 기준을 갖춘 복잡하고 다양한 환경을 간단한 추상화를 통해 구축할 수 있도록 지원하여, 모델 개발과 실제 도입 사이의 격차를 해소하는 데 기여한다. 또한 ARE 내에서 구축된 Gaia2라는 벤치마크를 제안한다. Gaia2는 일반 에이전트의 능력을 측정하도록 설계되었으며, 검색 및 실행을 넘어서 에이전트가 모호성과 노이즈를 처리하고, 동적 환경에 적응하며, 다른 에이전트와 협업하고, 시간 제약 하에서 작동해야 하는 능력을 요구한다. 기존 벤치마크와 달리 Gaia2는 비동기적으로 실행되며, 정적 환경에서는 드러나지 않는 새로운 실패 유형을 드러낸다. 실험 결과에 따르면, 지능 스펙트럼 전반에서 어떤 시스템도 지배적인 성능을 보이지 않음을 확인할 수 있다. 즉, 더 강력한 추론 능력은 종종 효율성의 희생을 수반하며, 예산 확장 곡선은 포화 상태에 도달함을 보여주어, 새로운 아키텍처와 적응형 컴퓨팅 전략의 필요성을 강조한다. 더욱 중요한 점은, ARE의 추상화가 Gaia2를 다른 환경으로 지속적으로 확장할 수 있도록 하여, 연구 공동체가 자신의 분야에 맞게 신속히 새로운 벤치마크를 개발할 수 있도록 지원한다는 점이다. 인공지능의 후반부에서 성과는 점점 더 의미 있는 과제 정의와 견고한 평가 체계에 의해 이끌어져야 하며, 이는 최전방 능력을 지속적으로 발전시키는 데 필수적이다.