AdaptFlow: 메타학습을 통한 적응형 워크플로우 최적화

최근 대규모 언어 모델(LLM)의 발전은 복잡한 작업을 해결하기 위해 구조화된 LLM 호출 시퀀스를 활용하는 에이전트 워크플로우에 대한 관심을 높이고 있다. 그러나 기존의 접근 방식은 주로 정적 템플릿이나 수동으로 설계된 워크플로우에 의존하여 다양한 작업에 대한 적응성과 확장성에 한계가 있다. 본 연구에서는 모델에 종속되지 않은 메타학습(MAML)을 영감으로 삼아 자연어 기반의 메타학습 프레임워크인 AdaptFlow를 제안한다. AdaptFlow는 일반화 가능한 워크플로우 초기화를 학습함으로써 하위 작업 수준에서 빠른 적응이 가능하게 한다. 이 프레임워크는 이중 최적화 구조를 활용한다. 내부 루프는 LLM이 생성한 피드백을 이용해 특정 하위 작업에 대해 워크플로우를 정교화하고, 외부 루프는 다양한 작업에서 우수한 성능을 발휘할 수 있도록 공유되는 초기화를 업데이트한다. 이러한 구조를 통해 AdaptFlow는 언어 기반의 수정을 통해 초기화된 워크플로우를 적응시키는 방식으로 미지의 작업에 효과적으로 일반화할 수 있다. 질문 응답, 코드 생성, 수학적 추론 등 다양한 벤치마크에서 평가한 결과, AdaptFlow는 수동으로 설계된 및 자동 탐색된 기준 모델을 모두 지속적으로 상회하며, 다양한 작업과 모델 간에 뛰어난 일반화 성능을 보이며 최신 기술 수준의 성과를 달성하였다. 소스 코드와 데이터는 이 URL에서 공개되어 있다.