Attention 맵의 토폴로지 분석을 통한 수용성 판단

언어지식을 인코딩하는 데 있어 주의 메커니즘(attention mechanism)의 역할은 자연어처리(NLP) 분야에서 특별한 관심을 받고 있다. 그러나 주의 헤드(attention head)가 문장의 문법적 타당성(grammatical acceptability)을 판단하는 능력에 대한 탐색은 여전히 부족한 실정이다. 본 연구는 문법적 타당성 판단의 패러다임을 위상적 데이터 분석(topological data analysis, TDA)을 통해 접근하며, 주의 그래프의 기하학적 성질이 언어학의 두 가지 표준적인 실천—이진 판단(binary judgments)과 언어적 최소 쌍(minimal pairs) 분석—에 효과적으로 활용될 수 있음을 보여준다. 위상적 특징을 도입함으로써, BERT 기반의 타당성 분류기 성능이 영어, 이탈리아어, 스웨덴어 등 세 언어에서 CoLA 데이터셋에서 8%~24% 향상되었다. 또한, 최소 쌍의 주의 맵 사이의 위상적 차이를 규명함으로써, BLiMP 벤치마크에서 인간 수준의 성능을 달성하였으며, 이는 9개의 통계적 모델 및 Transformer 기반 언어모델 기준보다 우수한 결과를 보였다. 동시에 TDA는 주의 헤드의 언어학적 기능을 분석하고, 그래프 특징과 문법적 현상 간의 대응 관계를 해석하는 기반을 제공한다.