벡터 양자화가 시공간 예측에서 실패하는가? 미분 가능한 희소 소프트 벡터 양자화 접근법 탐구

공간-시간 예측은 다양한 분야에서 중요하며, 미묘한 패턴을 식별하고 노이즈를 필터링하는 것 사이의 균형을 유지해야 합니다. 벡터 양자화(VQ)는 입력 벡터를 코드북 벡터 또는 패턴의 집합으로 양자화하기 때문에 이 목적에 적합해 보입니다. 그러나 VQ는 다양한 컴퓨터 비전 작업에서 유망한 결과를 보여주었음에도 불구하고, 공간-시간 예측의 정확도 향상에서는 의외로 부족한 면이 있습니다. 우리는 이를 두 가지 주요 문제 때문이라고 판단합니다: 비미분성으로 인한 최적화의 부정확성과 하드-VQ에서의 제한된 표현력입니다. 이러한 도전 과제를 해결하기 위해, 우리는 공간-시간 예측을 향상시키는 첫 번째 VQ 방법인 차별 가능한 희소 소프트 벡터 양자화(Differentiable Sparse Soft-Vector Quantization, SVQ)를 소개합니다. SVQ는 세부 정보 보존과 노이즈 감소 사이의 균형을 맞추며, 완전한 미분 가능성을 제공하고 희소 회귀에 견고한 기반을 마련합니다. 우리의 접근 방식은 두 개층의 MLP와 광범위한 코드북을 사용하여 희소 회귀 과정을 간소화하여, 계산 비용을 크게 줄이고 학습을 단순화하면서 성능을 향상시킵니다. 다섯 개의 공간-시간 벤치마크 데이터셋에 대한 실증 연구에서는 SVQ가 최신 결과를 달성하며, WeatherBench-S 온도 데이터셋에서 7.9%의 개선률과 Human3.6M, KTH, KittiCaltech 비디오 예측 벤치마크에서 평균 절대 오차(MAE)가 9.4% 감소하였으며, 이미지 품질(LPIPS) 측면에서도 17.3%의 개선 효과를 나타냈습니다. 코드는 https://github.com/Pachark/SVQ-Forecasting 에서 공개적으로 이용할 수 있습니다.