지리공간적 메커니즘 해석 가능성의 대형 언어 모델

대형 언어 모델(LLM)은 다양한 자연어 처리 작업에서 전례 없는 능력을 보여주었습니다. 이들의 텍스트와 코드를 처리하고 생성하는 능력은 많은 분야에서 필수적인 도구로 자리 잡았으며, 지식 기반 및 "추론" 도구로서의 활용은 여전히 진행 중인 연구 영역입니다. 지리학에서는 LLM의 지리적 지식과 공간 추론 능력을 평가하는 문헌이 점차 증가하고 있습니다. 그러나 이러한 모델의 내부 작동 방식, 특히 지리적 정보를 처리하는 방법에 대해서는 아직 많이 알려지지 않았습니다.본 장에서는 지리공간 메커니즘 해석 가능성(geospatial mechanistic interpretability) 연구를 위한 새로운 프레임워크를 제시합니다. 이 프레임워크는 공간 분석을 사용하여 LLM이 지리적 정보를 어떻게 처리하는지를 역공학화 하는 것을 목표로 합니다. 우리의 목적은 이러한 복잡한 모델이 지리적 정보를 처리하면서 생성하는 내부 표현을 더 깊이 이해하는 것입니다. 만약 이런 표현이 과도한 인간화가 아니라면, 이를 "LLM이 지리적 정보를 어떻게 생각하는지"라고 할 수도 있겠습니다.우리는 먼저 LLM 내부 구조를 밝혀내는 데 사용되는 탐침(probing) 기법의 활용 방안을 설명합니다. 그 다음으로, 메커니즘 해석 가능성(mechanistic interpretability) 분야를 소개하며, 중첩 가설(superposition hypothesis)과 희소 오토인코더(sparse autoencoder)가 LLM의 다의성 내부 표현을 더 해석 가능한 단일 의미 특징으로 분해하는 역할에 대해 논의합니다. 실험에서는 공간 자기상관(spatial autocorrelation)을 사용하여 장소 이름에 대한 특징들이 그들의 지리적 위치와 관련된 공간 패턴을 나타내며, 따라서 이들을 지리공간적으로 해석할 수 있다는 점을 보여줍니다. 이를 통해 이러한 모델이 지리적 정보를 어떻게 처리하는지에 대한 통찰력을 제공합니다.마지막으로, 우리의 프레임워크가 지리학에서 기초 모델(foundation model)의 연구와 활용 방향을 어떻게 형성할 수 있는지 논의하며 결론을 맺습니다.