LLM 에이전트를 검색 및 코드 도구를 사용하여 작은 모델로 축약하기

대형 언어 모델(LLMs)은 복잡한 추론 작업에서 뛰어난 성능을 보이지만 여전히 계산 비용이 많이 들기 때문에 실용적인 배포에 제약이 있습니다. 이를 해결하기 위해 최근 연구에서는 교사 LLMs의 사고 과정(Chain-of-Thought, CoT) 추적을 사용하여 추론 능력을 작은 언어 모델(sLMs)로 축소하는 데 집중하고 있습니다. 그러나 이 접근 방식은 드문 사실 정보나 정확한 계산이 필요한 상황에서 어려움을 겪습니다. sLMs는 능력의 한계로 인해 이러한 상황에서 종종 환각(hallucinate)을 일으킵니다. 본 연구에서는 Agent Distillation이라는 프레임워크를 제안합니다. 이 프레임워크는 추론 능력뿐만 아니라 검색 및 코드 도구를 활용한 완전한 작업 해결 행동도 LLM 기반 에이전트에서 sLMs로 전달합니다. 우리는 에이전트 축소를 두 가지 보완적인 축으로 개선하였습니다: (1) 교사가 생성한 경로의 품질을 향상시키기 위한 first-thought prefix라는 프롬프팅 방법을 소개하였으며, (2) 작은 에이전트의 테스트 시 로버스트성을 개선하기 위한 자기 일관성 동작 생성(self-consistent action generation) 방법을 제안하였습니다. 우리는 사실적 및 수학적 영역에 걸친 8개의 추론 작업에서 이 방법을 평가하였으며, 영역 내와 영역 외 일반화 모두 포함하였습니다. 결과는 0.5B, 1.5B, 3B 파라미터 규모의 sLMs가 CoT 축소를 통해 미세 조정된 다음 단계인 1.5B, 3B, 7B 모델과 경쟁할 수 있는 성능을 달성할 수 있음을 보여주며, 에이전트 축소가 실용적이면서 도구를 활용하는 작은 에이전트 구축에 잠재력을 가지고 있음을 입증하였습니다. 우리의 코드는 https://github.com/Nardien/agent-distillation에서 확인할 수 있습니다.