摘要
尽管两阶段向量量化（Vector Quantized, VQ）生成模型能够合成高保真度、高分辨率的图像，但其量化操作会将图像中相似的图像块映射到相同的索引，导致在现有解码器架构下，相邻相似区域出现重复性伪影。为解决这一问题，我们提出引入空间条件归一化（spatially conditional normalization）机制，对量化后的向量进行调制，从而在嵌入的索引图中注入空间变化的信息，促使解码器生成更具真实感的图像。此外，我们采用多通道量化策略，在不增加模型与码本开销的前提下，显著提升了离散代码的重组能力。同时，为在第二阶段生成离散标记（discrete tokens），我们引入掩码生成图像变换器（Masked Generative Image Transformer, MaskGIT），用于学习压缩潜在空间中的底层先验分布，其生成速度远超传统的自回归模型。在两个基准数据集上的实验结果表明，所提出的调制型VQGAN不仅显著提升了图像重建质量，还实现了高保真度的图像生成。