일본 AI 연구사 사카나 AI, 다중 모델 협력 기술 개발로 성능 30% 향상

일본의 AI 연구소 Sakana AI는 여러 대형 언어 모델(LLMs)이 하나의 작업을 공동으로 수행할 수 있는 새로운 기술을 도입했습니다. 이 기술은 '다중 LLM AB-MCTS'로 알려져 있으며, 각 모델이 단독으로 처리하기 어려운 복잡한 문제를 해결하기 위해 모델들의 고유한 강점을 결합하고 시험착오를 통해 성능을 향상시키는 방법을 제공합니다. 기업에게 있어 이 접근 방식은 더 강력하고 유능한 AI 시스템 개발의 수단이 됩니다. 한 개의 공급업체나 모델에 종속되는 대신, 기업들은 다양한 최전선 모델을 동적으로 활용하여 작업의 각 부분에 적합한 AI를 할당해 우수한 결과를 얻을 수 있습니다. Sakana AI의 연구원들은 모델 간의 차이점이 제약이 아니라, 집단 지성을 창출하는 귀중한 자원이라고 주장합니다. "AI 시스템도 인간의 가장 큰 업적들이 다양한 팀에서 나왔듯이, 협력함으로써 단일 모델로는 해결할 수 없는 문제들을 해결할 수 있다"고 그들은 말합니다. 이 새로운 알고리즘은 '추론 시간 확장' 기법에 속하며, 이는 이미 인기 있는 분야입니다. 대부분의 AI 연구는 '훈련 시간 확장'에 집중되어 왔는데, 이는 모델을 크게 만들고 더 많은 데이터셋으로 훈련시키는 것을 의미합니다. 반면, 추론 시간 확장은 모델이 이미 훈련된 후에 더 많은 계산 자원을 할당하여 성능을 향상시키는 방법입니다. Sakana AI의 접근 방식은 Best-of-N(반복 샘플링)과 같은 기존 기법을 발전시킨 것입니다. 이 프레임워크는 긴 사슬 사고(CoT)를 생성하는 강화 학습을 보완합니다. Takuya Akiba, Sakana AI의 연구원이자 논문의 공동 저자는 "우리의 프레임워크는 Best-of-N의 더 똑똑하고 전략적인 버전을 제공한다"며, "이 접근 방식은 제한된 LLM 호출 횟수 내에서 성능을 최대화하여 복잡한 작업에서 더 좋은 결과를 제공한다"고 설명했습니다. 이 기법의 핵심인 '적응형 분기 몬테카를로 트리 탐색(Adaptive Branching Monte Carlo Tree Search, AB-MCTS)' 알고리즘은 '깊게 탐색'과 '넓게 탐색'이라는 두 가지 다른 탐색 전략을 효과적으로 균형 맞추는 능력을 제공합니다. '깊게 탐색'은 유망한 답변을 선택해 계속해서 개선하는 반면, '넓게 탐색'은 처음부터 완전히 새로운 해결책을 생성합니다. AB-MCTS는 이러한 접근 방식을 결합하여, 좋은 아이디어를 개선하면서도 답이 막히거나 새로운 가능성이 발견될 경우 방향을 바꾸고 새로운 시도를 할 수 있도록 합니다. Sakana AI의 연구팀은 이 Multi-LLM AB-MCTS 시스템을 ARC-AGI-2 벤치마크에 적용해 테스트했습니다. ARC(Abstraction and Reasoning Corpus)는 새로운 시각 추론 문제를 해결하는 인간과 유사한 능력을 평가하도록 설계되어 있어, AI에게는 특히 어렵습니다. 연구팀은 o4-mini, Gemini 2.5 Pro, DeepSeek-R1 등의 최전선 모델들을 사용했습니다. 결과적으로, 모델들의 집단은 120개의 테스트 문제 중 30% 이상을 올바르게 해결하는데 성공했습니다. 이는 단독으로 작업한 어떤 모델보다도 훨씬 뛰어난 성적이었습니다. 시스템은 작업 진행 과정에서 가장 효과적인 LLM을 식별하고, 그 모델에게 더 많은 작업을 할당하는 능력을 보여주었습니다. 더욱 인상적인 점은, 특정 모델이 잘못된 해결책을 제시했을 때 다른 모델들이 그 오류를 분석하고 수정하여 올바른 답을 도출해냈다는 것입니다. Akiba는 "각 모델의 장단점뿐만 아니라, 환상을 일으키는 경향성도 크게 다를 수 있다"며, "환상을 덜 일으키는 모델을 포함한 앙상블을 만들어, 강력한 논리적 능력과 견고성을 동시에 달성할 수 있을 것"이라고 말했습니다. "기업 환경에서는 환상이 주요 이슈이므로, 이를 완화하는 데 이 접근 방식이 가치가 있을 수 있다"고 덧붙였습니다. Sakana AI는 개발자와 기업들이 이 기법을 실제로 적용할 수 있도록, TreeQuest라는 오픈 소스 프레임워크를 출시했습니다. TreeQuest는 Apache 2.0 라이선스 하에 배포되어 상업적 용도로도 사용할 수 있으며, 사용자들이 자신의 작업에 맞춰 Multi-LLM AB-MCTS를 구현할 수 있도록 유연한 API를 제공합니다. Akiba는 "우리는 아직 특정 기업 중심 문제에 AB-MCTS를 적용하는 초기 단계이지만, 우리의 연구는 여러 분야에서 큰 잠재력을 보여주고 있다"고 말했습니다. Sakana AI의 팀은 ARC-AGI-2 벤치마크 외에도, 복잡한 알고리즘 코딩 및 머신 러닝 모델의 정확도 향상 등 다양한 작업에서 AB-MCTS의 성공적인 응용을 보여주었습니다. Akiba는 "AB-MCTS는 기존 소프트웨어의 성능 지표를 최적화해야 하는 반복적인 시험착오가 필요한 문제에서도 매우 효과적일 수 있다"며, "예를 들어, 웹 서비스의 응답 지연 시간을 자동으로 개선하는 데 사용될 수 있다"고 강조했습니다. 실용적이고 오픈 소스 도구의 출시는 더 강력하고 신뢰할 수 있는 기업용 AI 애플리케이션의 새로운 시대를 열 가능성이 있습니다. Sakana AI의 이 기술은 집단 지성을 활용하여, 복잡한 문제를 해결하는 AI 시스템의 성능을 크게 향상시킬 것으로 기대됩니다. Sakana AI는 일본의 선도적인 AI 연구기관으로, 고급 언어 모델과 AI 알고리즘의 개발 및 응용에 주력하고 있습니다. 그들은 이번 발표를 통해 AI의 미래가 단일 모델의 성능 향상뿐만 아니라, 다양한 모델들의 협력과 집단 지성에 기반한 문제 해결 방식으로 진전될 것이라는 메시지를 전달하였습니다. 이 기술의 성공적인 적용은 AI 산업의 큰 진보를 의미하며, 앞으로 더 많은 기업들이 이를 활용해 혁신적인 솔루션을 개발할 수 있을 것으로 보입니다.