시계열 주의(Unit) 단위: 효율적인 시공간 예측 학습을 위한 접근

공간-시간 예측 학습은 과거 프레임들로부터 학습하여 미래 프레임을 생성하는 것을 목표로 한다. 본 논문에서는 기존의 방법들을 검토하고, 공간 인코더와 디코더가 프레임 내 특징을 추출하고 중간 시간 모듈이 프레임 간 상관관계를 포착하는 일반적인 공간-시간 예측 학습 프레임워크를 제안한다. 주류 방법들은 장기적인 시간적 의존성을 포착하기 위해 순환 단위를 활용하지만, 병렬화가 불가능한 아키텍처로 인해 계산 효율성이 낮다는 한계를 가지고 있다. 시간 모듈의 병렬화를 위해 우리는 시간적 주의 메커니즘을 프레임 내 정적 주의와 프레임 간 동적 주의로 분해하는 시간 주의 단위(Temporal Attention Unit, TAU)를 제안한다. 또한, 평균 제곱 오차 손실은 프레임 내 오차에만 초점을 맞추는 반면, 우리는 프레임 간 변동성을 고려할 수 있도록 새로운 차분 발산 정규화(differential divergence regularization)를 도입한다. 광범위한 실험을 통해 제안된 방법이 다양한 공간-시간 예측 벤치마크에서 경쟁적인 성능을 달성할 수 있음을 입증하였다.