대규모 언어 모델을 위한 지식 편집에 관한 종합적 연구

대규모 언어 모델(Large Language Models, LLMs)은 인간의 의사소통과 유사한 텍스트를 이해하고 생성하는 데 있어 놀라운 능력을 보여주고 있다. 그러나 이러한 모델의 주요 한계는 방대한 파라미터화로 인해 학습 과정에서 막대한 계산 자원이 요구된다는 점이다. 이 문제는 세계의 동적인 특성으로 인해 더욱 심화되며, 모델이 오래된 정보를 수정하거나 새로운 지식을 통합할 수 있도록 자주 업데이트되어야 한다는 요구를 수반한다. 이를 통해 모델의 지속적인 관련성과 정확성을 유지할 수 있다. 특히, 많은 응용 분야에서는 학습 이후에도 모델의 결함이나 부적절한 행동을 보완하기 위해 지속적인 조정이 필요하다. 이러한 맥락에서, 실시간으로 모델을 경량화하고 효율적으로 수정할 수 있는 방법에 대한 관심이 점점 커지고 있다. 최근 몇 년간 LLM의 지식 편집 기술이 급격히 발전하고 있으며, 이는 특정 도메인 내에서 모델의 행동을 효율적으로 수정하면서도 다양한 입력에 대한 전반적인 성능을 유지하는 것을 목표로 한다. 본 논문에서는 먼저 지식 편집 문제를 정의한 후, 최신 기술들을 종합적으로 검토한다. 교육학 및 인지과학 연구 이론에서 영감을 받아, 지식 편집 기법을 세 가지 유형으로 통합적으로 분류하는 기준을 제안한다. 이는 외부 지식을 활용하는 방식, 지식을 모델에 통합하는 방식, 그리고 내재된 지식을 직접 수정하는 방식으로 구분된다. 더불어, 대표적인 지식 편집 기법들을 종합적으로 평가하기 위해 새로운 벤치마크인 KnowEdit을 제안한다. 또한, 지식이 모델 내부 어디에 저장되는지를 심층적으로 분석함으로써, LLM 내부에 내재된 지식 구조에 대한 깊이 있는 이해를 제공한다. 마지막으로, 지식 편집 기술의 다양한 잠재적 응용 사례를 논의하며, 이 기술이 가질 수 있는 광범위하고 중요한 영향력을 제시한다.