체인 내 탐색: 지식 집약적 작업을 위한 대규모 언어 모델의 상호작용적 강화를 위한 검색

대규모 언어 모델(Large Language Model, LLM)이 생성하는 콘텐츠의 정확성, 신뢰성 및 추적 가능성을 확보하는 것은, 다단계 추론이 필요하고 각 단계에서 지식이 요구되는 복잡한 지식 집약적 과제에서尤为 중요하다. 이를 해결하기 위해 검색 보강 생성(Retrieval-augmented generation) 기법이 큰 잠재력을 지닌다. 그러나 LLM에 정보 검색(Information Retrieval, IR)을 어디에, 어떻게 도입할지를 결정하는 것은 여전히 큰 도전 과제이다. 기존의 연구들은 IR이 잘못된 지식을 검색하여 LLM을 오도하는 문제와, IR과 LLM 간의 상호작용이 LLM의 추론 체인을 방해하는 문제를 겪고 있다. 본 논문은 이러한 도전 과제를 해결하기 위해 LLM과 IR 간의 상호작용을 위한 새로운 프레임워크인 \textbf{Search-in-the-Chain}(SearChain)을 제안한다. 먼저, LLM은 각 노드가 IR 기반 질의-답변 쌍으로 구성된 추론 체인인 Chain-of-Query(CoQ)를 생성한다. 다음으로, IR은 CoQ의 각 노드의 답변을 검증한다. IR이 높은 신뢰도를 가질 경우, 검색된 정보와 일치하지 않는 답변을 수정함으로써 신뢰성을 향상시킨다. 세 번째로, LLM은 CoQ 내에서 필요한 지식이 부족함을 인식하고, 이를 IR을 통해 보완받을 수 있도록 한다. 이러한 과정들은 추론 및 지식 측면에서 정확성을 개선한다. 마지막으로, SearChain은 추론 과정을 생성하면서 각 추론 단계에 대한 지원 문서를 참조 표시함으로써 추적 가능성을 향상시킨다. SearChain 내의 IR과의 상호작용은 트리 기반의 새로운 추론 경로를 형성하여, LLM이 추론 방향을 동적으로 수정할 수 있도록 한다. 실험 결과, SearChain은 다단계 질문-답변, 슬롯 채우기, 사실 검증, 장문 질문-답변 등 복잡한 지식 집약적 과제에서 최첨단 기준 모델들을 모두 능가함을 확인하였다.