메모리 인 메모리: 시공간 동역학에서 고차 비정상성을 학습하는 예측 신경망

자연스러운 시공간 과정은 여러 방면에서 매우 비정상적이일 수 있습니다. 예를 들어, 공간 상관 관계나 시간적 종속성과 같은 저수준의 비정상성; 강수 예측에서 레이다 에코의 축적, 변형 또는 소멸과 같은 고수준의 변화 등이 있습니다. 크래머 분해(Cramer's Decomposition)에 따르면, 모든 비정상적인 과정은 결정론적이고 시간변동 다항식 및 평균이 0인 확률적 항으로 분해될 수 있습니다. 적절한 차분 연산을 적용함으로써 시간변동 다항식을 상수로 변환할 수 있으며, 이는 결정론적인 구성 요소를 예측 가능하게 만듭니다. 그러나 대부분의 이전 시공간 예측을 위한 순환 신경망은 차분 신호를 효과적으로 활용하지 않으며, 비교적 단순한 상태 전이 함수 때문에 시공간에서 너무 복잡한 변화를 학습하는 것이 어렵습니다. 이를 위해 우리는 메모리 인 메모리(Memory In Memory, MIM) 네트워크와 해당 순환 블록을 제안합니다. MIM 블록은 인접한 순환 상태 간의 차분 신호를 활용하여 두 개의 계단식 자가 갱신 메모리 모듈로 시공간 역학에서 비정상적이고 약간 정상적인 특성을 모델링합니다. 여러 개의 MIM 블록을 쌓음으로써 잠재적으로 고차 비정상성을 처리할 수 있습니다. MIM 네트워크는 합성 데이터셋과 실제 세계 데이터셋 모두에서 네 가지 시공간 예측 작업에서 최고 성능을 달성했습니다. 우리는 이 연구의 일반적인 아이디어가 다른 시계열 예측 작업에도 잠재적으로 적용될 수 있다고 믿습니다.