Search-o1: 에이전트 기반 검색 강화 대형 추론 모델

대형 추론 모델(LRMs)인 OpenAI-o1은 대규모 강화 학습을 통해 인상적인 장기 단계적 추론 능력을 보여주었습니다. 그러나 이러한 확장된 추론 과정은 종종 지식 부족으로 인해 불확실성과 잠재적인 오류가 자주 발생합니다. 이 제한 사항을 해결하기 위해, 우리는 Search-o1이라는 프레임워크를 소개합니다. 이 프레임워크는 에이전트 기반 검색 강화 생성(RAG) 메커니즘과 문서 내 추론(Reason-in-Documents) 모듈을 통해 LRMs의 성능을 향상시킵니다. Search-o1은 LRMs이 불확실한 지식 포인트를 만나면 외부 지식의 동적 검색을 가능하게 하는 에이전트 기반 검색 워크플로우를 추론 과정에 통합합니다. 또한, 검색된 문서의 긴 문장 구조로 인해 발생할 수 있는 문제를 해결하기 위해, 우리는 별도의 Reason-in-Documents 모듈을 설계하여 검색된 정보를 추론 체인에 주입하기 전에 깊이 분석합니다. 이는 노이즈를 최소화하고 일관된 추론 흐름을 유지하는 데 도움을 줍니다. 과학, 수학, 코딩 등 복잡한 추론 작업과 6개의 오픈 도메인 QA 벤치마크에서 수행된 광범위한 실험들은 Search-o1의 우수한 성능을 입증하였습니다. 이 접근 방식은 복잡한 추론 작업에서 LRMs의 신뢰성과 활용성을 향상시키며, 더욱 안정적이고 다목적으로 사용 가능한 지능 시스템 개발의 길을 열어줍니다. 코드는 https://github.com/sunnynexus/Search-o1에서 확인할 수 있습니다.