12일 전
대형 언어 모델을 위한 문맥 공학 조사
Lingrui Mei, Jiayu Yao, Yuyao Ge, Yiwei Wang, Baolong Bi, Yujun Cai, Jiazhi Liu, Mingyu Li, Zhong-Zhi Li, Duzhen Zhang, Chenlin Zhou, Jiayi Mao, Tianze Xia, Jiafeng Guo, Shenghua Liu

초록
대형 언어 모델(LLM)의 성능은 추론 시 제공되는 문맥 정보에 의해 근본적으로 결정됩니다. 본 조사에서는 단순 프롬프트 설계를 넘어 LLM용 정보 부하를 체계적으로 최적화하는 정식 학문인 문맥 공학(Context Engineering)을 소개합니다. 우리는 문맥 공학을 그 기초 구성 요소와 이를 지능형 시스템에 통합하는 고도의 구현으로 분해한 포괄적인 분류 체계를 제시합니다. 먼저 기초 구성 요소인 문맥 검색 및 생성, 문맥 처리, 그리고 문脈 관리를 살펴보며, 이어서 이러한 구성 요소들이 어떻게 구조적으로 통합되어 복잡한 시스템 구현을 만드는지 탐구합니다: 검색 강화 생성(Retrieval-Augmented Generation, RAG), 메모리 시스템, 도구 통합 추론, 그리고 다중 에이전트 시스템입니다. 이 1300여 편의 연구 논문에 대한 체계적인 분석을 통해 본 조사는 해당 분야의 기술 로드맵을 수립할 뿐만 아니라 중요한 연구 간극을 밝혀냅니다: 모델 능력 사이에 근본적인 불균형이 존재합니다. 현재 모델들은 고급 문맥 공학으로 복잡한 문맥 이해 능력을 크게 향상시키고 있지만, 동등하게 고도화된 장문 출력 생성에는 명확한 한계를 보이고 있습니다. 이 간극 해결은 미래 연구의 주요 우선 순위가 됩니다. 궁극적으로 본 조사는 연구자와 엔지니어 모두에게 문맥 인식 AI 발전을 위한 통합적 프레임워크를 제공합니다.