FireAct: 언어 에이전트의 미세조정을 향해

최근의 연구 노력은 언어 모델(LM)에 외부 도구나 환경을 통합함으로써 추론과 행동이 가능한 언어 에이전트의 개발을 촉진하고 있다. 그러나 이러한 에이전트의 대부분은 사전 학습된 언어 모델을 사용하는 소수 샘플 프롬프팅( few-shot prompting) 기법에 의존하고 있다. 본 논문에서는 언어 에이전트를 얻기 위해 언어 모델을 미세조정(fine-tuning)하는 방향이 간과되고 있음을 지적하고, 그 중요성을 주장한다. 구글 검색 API를 활용한 질문 응답(QA) 환경을 설정하여 다양한 기본 언어 모델, 프롬프팅 방법, 미세조정 데이터, 그리고 QA 작업을 탐색한 결과, 백본 언어 모델을 미세조정한 후 언어 에이전트의 성능이 일관되게 향상됨을 확인하였다. 예를 들어, GPT-4가 생성한 500개의 에이전트 트래잭션을 사용해 Llama2-7B를 미세조정하면 HotpotQA에서 성능이 77% 향상된다. 더불어, 다양한 작업과 프롬프팅 방법에서 생성된 트래잭션을 활용하는 새로운 미세조정 접근법인 FireAct을 제안하며, 보다 다양한 미세조정 데이터가 에이전트 성능 향상에 기여함을 보여준다. 스케일링 효과, 견고성, 일반화 능력, 효율성 및 비용 측면에서의 기타 발견들과 함께, 본 연구는 언어 에이전트를 위한 언어 모델 미세조정의 종합적인 이점을 입증하고, 언어 에이전트 미세조정을 위한 초기 실험 설계, 통찰, 그리고 여전히 남아 있는 오픈 질문들을 제시한다.