ベクトル量子化は時空間予測で失敗するのか？微分可能な疎なソフトベクトル量子化アプローチの探求

空間時間予測は様々な分野で重要であり、微妙なパターンの特定とノイズの除去の間で慎重なバランスを取る必要があります。ベクトル量子化（VQ）は、入力ベクトルをコードブックベクトルまたはパターンの集合に量子化するため、この目的に適していると考えられています。しかし、VQは様々なコンピュータビジョンタスクで有望な結果を示したにもかかわらず、空間時間予測の精度向上においては意外にも不足しています。私たちはこれを主に2つの問題に帰属しています：非微分可能性による最適化の不正確さとハードVQにおける表現力の制限です。これらの課題に対処するために、我々はDifferentiable Sparse Soft-Vector Quantization（SVQ）を導入します。これは、空間時間予測を強化する最初のVQ手法です。SVQは詳細の保存とノイズ削減のバランスを取りつつ、完全な微分可能性と疎回帰に基づいた堅固な基礎を提供します。当方針では、2層のMLP（多層パーセプトロン）と広範なコードブックを使用して疎回帰プロセスを効率化し、計算コストを大幅に削減しながら訓練を簡素化し、性能を向上させます。5つの空間時間ベンチマークデータセットでの経験的研究により、SVQが最先端の結果を達成することが示されました。具体的には、WeatherBench-S気温データセットでは7.9%の改善が見られ、ビデオ予測ベンチマーク（Human3.6M, KTH, KittiCaltech）では平均絶対誤差が9.4%削減されるとともに、画像品質（LPIPS）において17.3%の向上が確認されました。コードは公開されており、https://github.com/Pachark/SVQ-Forecasting からアクセスできます。