局部感知的并行解码用于高效的自回归图像生成

我们提出了一种局部感知并行解码（Locality-aware Parallel Decoding, LPD）方法，以加速自回归图像生成。传统的自回归图像生成依赖于下一补丁预测，这是一种受内存限制的过程，导致高延迟。现有的研究尝试通过转向多补丁预测来并行化下一补丁预测，从而加速这一过程，但仅实现了有限的并行化。为了在保持生成质量的同时实现高并行化，我们引入了两项关键技术：(1) 灵活并行自回归建模，一种新颖的架构，支持任意生成顺序和并行度。该架构使用可学习的位置查询令牌来引导目标位置的生成，同时确保并发生成的令牌之间相互可见，以实现一致的并行解码。(2) 局部感知生成排序，一种新颖的时间表策略，通过形成组来最小化组内依赖关系并最大化上下文支持，从而提高生成质量。借助这些设计，在 ImageNet 类条件生成中，我们将 256×256 分辨率下的生成步骤从 256 减少到 20，将 512×512 分辨率下的生成步骤从 1024 减少到 48，并且在不牺牲质量的前提下，至少比之前的并行自回归模型降低了 3.4 倍的延迟。