초록
최근, 새로운 순환 신경망(RNN)인 르장드르 메모리 유닛(LMU, Legendre Memory Unit)이 제안되어 여러 벤치마크 데이터셋에서 최고 수준의 성능을 보임으로써 주목받고 있습니다. 본 연구에서는 LMU의 선형 시불변(LTI, Linear Time-Invariant) 메모리 구성 요소를 활용하여 훈련 과정에서 병렬화할 수 있는 단순화된 변형 모델을 구축하였습니다(추론 시에는 여전히 RNN으로 실행됨). 이는 GPU에서 RNN을 훈련시키는 데 있어 잘 알려진 한계를 극복하는 방법입니다. 우리는 이 병렬화를 지원하는 재구성 방식이 선형 재귀 구성 요소를 가진 어떤 딥 네트워크에도 일반적으로 적용될 수 있으며, 이를 통해 훈련 속도가 최대 200배 더 빨라짐을 보여주었습니다.둘째로, 이 모델의 유효성을 검증하기 위해 원래의 LMU와 다양한 LSTM 및 트랜스포머 네트워크들과 비교하여 7개의 벤치마크에서 성능을 평가하였습니다. 이 벤치마크들은 psMNIST부터 감성 분석까지 기계 번역에 이르는 다양한 분야를 포함하고 있습니다. 우리는 우리의 모델이 모든 데이터셋에서 우수한 성능을 나타내며, 종종 더 적은 매개변수를 사용함을 입증하였습니다. 예를 들어, 우리의 LMU는 psMNIST에서 새로운 최고 수준의 결과를 달성하였으며, IMDB 감성 분석에서는 DistilBERT와 LSTM 모델보다 절반의 매개변수만 사용하면서도 더 우수한 성능을 보였습니다.