向量量化在时空预测中是否失效？探索一种可微分的稀疏软向量量化方法

时空预测在多个领域中至关重要，需要在识别细微模式和滤除噪声之间找到微妙的平衡。向量量化（VQ）似乎非常适合这一目的，因为它可以将输入向量量化为一组码本向量或模式。尽管 VQ 在各种计算机视觉任务中表现出色，但在提高时空预测准确性方面却出乎意料地表现不佳。我们认为这主要归因于两个问题：由于非可微性导致的优化不准确以及硬 VQ 的表示能力有限。为了解决这些挑战，我们引入了可微稀疏软向量量化（SVQ），这是首个用于增强时空预测的 VQ 方法。SVQ 在细节保留和噪声减少之间取得了平衡，提供了完全的可微性和稀疏回归的坚实基础。我们的方法采用了两层多层感知器（MLP）和一个扩展的码本来简化稀疏回归过程，显著降低了计算成本，同时简化了训练并提高了性能。在五个时空基准数据集上的实证研究表明，SVQ 达到了最先进的结果，包括在 WeatherBench-S 温度数据集上实现了 7.9% 的改进，在视频预测基准（Human3.6M、KTH 和 KittiCaltech）上平均绝对误差减少了 9.4%，以及图像质量提升了 17.3%（LPIPS）。代码已公开发布于 https://github.com/Pachark/SVQ-Forecasting。