HiPPO: 최적의 다항식 투영을 이용한 순환 메모리

시퀀스 데이터에서 학습하는 주요 문제는 더 많은 데이터가 처리됨에 따라 누적 역사를 점진적으로 표현하는 것입니다. 우리는 연속 신호와 이산 시계열 데이터를 다항식 기저로 투영하여 온라인으로 압축하는 일반적인 프레임워크(HiPPO)를 소개합니다. 과거의 각 시간 단계의 중요성을 지정하는 측도가 주어지면, HiPPO는 자연스러운 온라인 함수 근사 문제에 대한 최적해를 생성합니다. 특수한 경우로, 우리의 프레임워크는 최근의 르장드르 메모리 유닛(LMU)을 원칙에서 간단히 도출하며, GRU와 같은 순환 신경망의 널리 사용되는 게이팅 메커니즘을 일반화합니다. 이 형식적인 프레임워크는 모든 역사를 기억하면서 시간에 따라 확장할 수 있는 새로운 메모리 업데이트 메커니즘(HiPPO-LegS)을 제공합니다. HiPPO-LegS는 시간 척도에 대한 강건성, 빠른 업데이트, 그리고 제한된 그래디언트 등의 이론적 장점을 가지고 있습니다. 메모리 동역학을 순환 신경망에 통합함으로써, HiPPO RNNs는 경험적으로 복잡한 시간 의존성을 포착할 수 있습니다. 벤치마크 순서 바뀐 MNIST 데이터셋에서 HiPPO-LegS는 98.3%의 정확도로 새로운 최고 성능을 달성했습니다. 마지막으로, 분포 외 시간 척도와 결측 데이터에 대한 강건성을 테스트하는 새로운 궤적 분류 작업에서 HiPPO-LegS는 RNN 및 신경 ODE 베이스라인보다 25-40%의 정확도로 우수한 성능을 보였습니다.