Adrian Kosowski Przemysław Uznański Jan Chorowski Zuzanna Stamirowska Michał Bartoszkiewicz

초록

계산 시스템과 뇌 사이의 관계는 존 폰 노이만과 앨런 터링을 비롯한 선구적인 이론가들에게 오랫동안 동기 부여가 되어 왔다. 뇌와 같은 균일하고 척도 불변(scale-free)인 생물학적 네트워크는 시간에 따라 일반화할 수 있는 강력한 특성을 지니고 있으며, 이는 인공지능 학습이 보편적 추론 모델에 도달하는 길에서 가장 큰 장벽으로 작용한다.이에 우리는 '드래곤 하치링'(BDH, Brain-inspired Dynamic Hierarchical network)이라는 새로운 대규모 언어 모델 아키텍처를 제안한다. BDH는 국소적으로 상호작용하는 신경 입자들로 구성된 척도 불변의 생물학적 흐름을 기반으로 하며, 트랜스포머와 유사한 성능을 유지하면서도 강력한 이론적 기반과 내재된 해석 가능성을 동시에 갖춘 구조를 지닌다.BDH는 실용적이고 성능이 뛰어난 최신 세대의 주목적 기반 상태공간 시퀀스 학습 아키텍처이다. 그래프 모델로서의 특성을 갖는 동시에, GPU 친화적인 수식화를 가능하게 한다. 경험적 결과에 따르면, 동일한 파라미터 수(1,000만 ~ 10억)와 동일한 학습 데이터를 사용할 때, BDH는 언어 및 번역 작업에서 GPT-2와 경쟁 가능한 성능을 보인다.BDH는 뇌 모델로 해석될 수 있다. 추론 과정에서 BDH의 작업 기억은 헤비안 학습(Hebbian learning)을 기반으로 하는 스파이크 신경을 이용한 시냅스 가소성에 완전히 의존한다. 실험적으로 확인한 결과, BDH가 특정 개념에 대해 언어 입력을 처리하거나 추론할 때마다, 해당 개념과 관련된 특정 시냅스들이 강화됨을 관찰할 수 있었다. BDH의 신경 상호작용 네트워크는 높은 모듈성과 꼬리가 긴(degree distribution) 도수 분포를 가지는 그래프 구조를 형성한다. 이 모델은 생물학적으로 타당하며, 인간 신경세포가 언어를 구사할 수 있는 한 가지 가능한 메커니즘을 설명할 수 있다.BDH는 해석 가능성(interpretability)을 중심으로 설계되었다. BDH의 활성화 벡터는 희소하고 양의 값을 갖는다. 언어 작업에서 BDH 내에서 단일 의미성(monosemanticity)이 입증되었다. 상태(state)의 해석 가능성은 단순히 뉴런이나 모델 파라미터의 해석을 넘어서는 개념이며, BDH 아키텍처의 내재적 특징이다.