Lufan Chang

초록

대규모 언어 모델(Large Language Models, LLMs)은 종종 진정한 혁신적인 아이디어를 생성하는 데 어려움을 겪으며, 보통 훈련 데이터의 '중력 웰(gravitational wells)' 내에서 높은 확률을 가진 익숙한 개념들로 수렴하는 경향이 있다. 트리 오브 사고(Tree of Thoughts, ToT)와 같은 고도화된 탐색 기반 방법은 이러한 문제를 완화하려는 시도를 하지만, 탐색을 이끄는 데 있어 무분별하고 일관성 없는 자기 평가 히ュ리스틱에 의존한다는 본질적인 한계를 지닌다. 이 격차를 보완하기 위해, 본 연구는 LLM의 잠재적 개념 공간을 체계적이고 지도된 탐색으로 재정의하는 새로운 프레임워크인 \textbf{Magellan}을 제안한다. Magellan의 핵심은 계층적 지도 시스템에 의해 제어되는 몬테카를로 트리 탐색(Monte Carlo Tree Search, MCTS)을 활용하는 것이다. 장기적인 탐색 방향을 위해, 직교 투영을 통해 구성된 '의미적 콩파스(semantic compass)' 벡터가 관련성 있는 새로운 아이디어 쪽으로 탐색을 유도한다. 단기적이고 단계적인 결정을 위해, 환경 인식형 가치 함수가 자기 평가의 결함을 대체하여 내재적 일관성, 외재적 신선성, 내러티브 전개의 균형을 고려한 명시적 보상 구조를 도입한다. 광범위한 실험을 통해 Magellan이 ReAct 및 ToT와 같은 강력한 기준 모델보다 과학적 아이디어 생성에서 더 뛰어난 타당성과 혁신성을 보여주며, 두드러진 성능 우위를 입증하였다. 본 연구는 창의적 탐색을 위해 무제한의 자율성보다는 체계적이고 지도된 탐색이 더 효과적임을 보여주며, LLM이 혁신 과정에서 더욱 능력 있는 파트너로 발전할 수 있는 길을 열었다.