HierSearch: 로컬 검색과 웹 검색을 통합한 계층적 기업용 딥 검색 프레임워크

최근 대규모 추론 모델은 강력한 수학 및 코딩 능력을 보여주며, 딥 서치(Deep Search)는 이러한 모델의 추론 능력을 활용해 도전적인 정보 검색 작업에 적용하고 있다. 기존의 딥 서치 연구들은 일반적으로 로컬 또는 웹과 같은 단일 지식 소스에 국한되어 있다. 그러나 기업에서는 로컬 및 웹 코퍼스를 모두 활용할 수 있는 사내 딥 서치 시스템을 요구하는 경우가 많다. 여러 검색 도구를 갖춘 에이전트를 평면형 강화학습(Flat RL)으로 단순히 훈련시키는 방식은 직관적인 접근이지만, 훈련 데이터 효율성이 낮고 복잡한 도구를 효과적으로 다루지 못하는 등의 문제를 야기한다. 위 문제를 해결하기 위해 본 연구에서는 계층형 강화학습(Hierarchical RL)을 활용해 훈련하는 계층형 에이전트 딥 서치 프레임워크인 HierSearch를 제안한다. 하위 수준에서는 각각 로컬 및 웹 영역에서 증거를 검색할 수 있도록 로컬 딥 서치 에이전트와 웹 딥 서치 에이전트를 별도로 훈련한다. 상위 수준에서는 플래너 에이전트가 하위 수준의 에이전트들을 조율하고 최종 답변을 제공한다. 또한, 직접 답변 복사 및 오류 전파를 방지하기 위해, 하위 수준 에이전트가 반환한 환상적 또는 관련 없는 증거를 필터링하는 지식 리파인어(Knowledge Refiner)를 설계하였다. 실험 결과, HierSearch는 평면형 RL 대비 우수한 성능을 보였으며, 일반, 금융, 의료 분야를 아우르는 6개 벤치마크에서 다양한 딥 서치 및 다중 소스 검색 기반 생성 모델 기준보다 뛰어난 성능을 나타냈다.