표현력 있는 누출 메모리 뉴런: 장기 과제를 해결할 수 있는 효율적이고 표현력 있는 현상학적 뉴런 모델

생물학적 코티컬 신경세포는 방대한 시냅스 입력을 복잡한 수상돌기 나무 구조를 통해 시간적으로 통합하며, 복잡하고 비선형적으로 상호작용하는 내부 생물학적 과정에 의해 조절되는 놀라울 정도로 정교한 계산 장치이다. 최근 연구에서는 세밀한 생물물리학적 코티컬 피라미드형 신경세포 모델의 입력-출력 관계를 정확히 재현하기 위해 정교한 대체 모델(surrogate model)을 적합시키는 방식으로 이 복잡성을 특성화하려 했으며, 그 결과 수백만 개의 파라미터를 필요로 하는 시간적 컨볼루션 네트워크(Temporal Convolutional Network, TCN)가 필요함을 발견했다. 그러나 이러한 방대한 수의 파라미터가 요구되는 것은 TCN의 유도적 편향(inductive biases)이 코티컬 신경세포의 계산 방식과 불일치하기 때문일 수 있다. 이러한 점을 고려하여, 유출 메모리 유닛과 비선형 수상돌기 처리의 계산적 의미를 탐구하고자, 생물학적으로 영감을 받은 현상학적 모델인 표현력 있는 유출 메모리(Expressive Leaky Memory, ELM) 신경세포 모델을 제안한다. 놀랍게도, 느리게 감쇠하는 메모리 유사한 은닉 상태를 활용하고 시냅스 입력에 대해 이중층 비선형 통합을 수행함으로써, 본 ELM 신경세포 모델은 1만 개 미만의 학습 가능한 파라미터로도 전술한 입력-출력 관계를 정확히 재현할 수 있다. 이를 통해 제안된 신경세포 설계의 계산적 함의를 보다 심층적으로 평가하기 위해, 장거리 구조를 갖는 다양한 작업들—특히 장거리 아레나(Long Range Arena, LRA) 데이터셋과 새로운 스파이크 기반 뉴모포닉 데이터셋인 Spiking Heidelberg Digits 데이터셋 기반의 SHD-Adding—에 대해 성능을 평가하였다. 더 많은 메모리 유닛과 충분히 긴 시간 스케일을 갖춘 설계를 통해, ELM 신경세포는 장거리 처리 능력이 뛰어나 LRA에서 전통적인 Transformer나 Chrono-LSTM 아키텍처를 뛰어넘는 안정적인 성능을 보였으며, 16,000의 컨텍스트 길이를 가진 Pathfinder-X 작업에서도 70% 이상의 정확도로 해결하는 데 성공하였다.