Command Palette

Search for a command to run...

13일 전

LoopTool: 견고한 LLM 도구 호출을 위한 데이터-학습 루프 닫기

Kangning Zhang Wenxiang Jiao Kounianhua Du Yuan Lu Weiwen Liu Weinan Zhang Lei Zhang Yong Yu

LoopTool: 견고한 LLM 도구 호출을 위한 데이터-학습 루프 닫기

초록

외부 도구를 대규모 언어 모델(Large Language Models, LLMs)에 통합함으로써, 복잡한 다단계 작업을 수행할 수 있게 되었다. 그러나 데이터 생성과 모델 훈련이 별도로, 상호작용 없이 진행되는 정적 합성 데이터 파이프라인의 한계로 인해 도구 학습이 제한되고 있다. 이 기존 방식은 모델의 특정 약점을 적절히 집중적으로 다루지 못하며, 노이즈가 있는 레이블이 지속적으로 남아 훈련 효율을 저하시킨다. 본 연구에서는 데이터 합성과 모델 훈련을 밀접하게 통합함으로써 이 문제를 해결하는 완전 자동화된, 모델 인지형 데이터 진화 프레임워크인 LoopTool을 제안한다. LoopTool은 세 가지 상호보완적인 모듈을 통해 데이터와 모델을 반복적으로 개선하는 폐쇄형 루프를 구현한다. (1) 탐욕적 능력 탐지(Greedy Capability Probing, GCP)는 모델이 습득한 능력과 실패한 능력을 진단한다. (2) 판단 기반 레이블 검증(Judgement-Guided Label Verification, JGLV)은 오픈소스 판별 모델을 활용해 annotation 오류를 탐지하고 수정함으로써 데이터셋을 점진적으로 정제한다. (3) 오류 기반 데이터 확장(Error-Driven Data Expansion, EDDE)는 식별된 실패 사례를 기반으로 새로운 도전적 샘플을 생성한다. 이 폐쇄형 루프는 비용 효율적이고 오픈소스 기반의 생태계 내에서 작동하며, 고가의 폐쇄형 API에 의존할 필요 없이 운영 가능하다. 실험 결과, LoopTool로 훈련된 8B 규모의 모델이 32B 규모의 데이터 생성 모델을 뛰어넘으며, 해당 규모에서 BFCL-v3 및 ACEBench 벤치마크에서 새로운 최고 성능을 기록하였다. 본 연구는 폐쇄형 루프 및 자기 개선형 데이터 파이프라인의 활용이 LLM의 도구 활용 능력을 극적으로 향상시킬 수 있음을 보여준다.

AI로 AI 구축

아이디어에서 출시까지 — 무료 AI 공동 코딩, 즉시 사용 가능한 환경, 최적 가격 GPU로 AI 개발을 가속화하세요.

AI 공동 코딩
즉시 사용 가능한 GPU
최적 가격
시작하기

Hyper Newsletters

최신 정보 구독하기
한국 시간 매주 월요일 오전 9시 에 이번 주의 최신 업데이트를 메일로 발송합니다
이메일 서비스 제공: MailChimp
LoopTool: 견고한 LLM 도구 호출을 위한 데이터-학습 루프 닫기 | 연구 논문 | HyperAI초신경