17 天前
草稿与修订:基于上下文RQ-Transformer的有效图像生成
Doyup Lee, Chiheon Kim, Saehoon Kim, Minsu Cho, Wook-Shin Han

摘要
尽管自回归模型在图像生成任务中取得了令人瞩目的成果,但其单向生成机制导致生成的图像难以充分反映全局上下文信息。为解决这一问题,本文提出一种名为“Draft-and-Revise”的有效图像生成框架,并引入上下文感知的RQ-Transformer,以在生成过程中充分考虑全局上下文。作为VQ-VAE的泛化形式,RQ-VAE首先将高分辨率图像表示为一系列离散的代码堆栈(code stacks)。随后,对序列中的部分代码堆栈进行随机掩码处理,并训练上下文感知的RQ-Transformer,使其基于未掩码部分的图像上下文信息,重建被掩码的代码堆栈。在此基础上,RQ-Transformer采用我们提出的两阶段解码策略——“Draft-and-Revise”,在生成图像的同时有效利用图像的全局上下文信息。具体而言,在“草稿阶段”(Draft phase),模型优先生成具有多样性的图像,尽管初始质量相对较低;随后在“修正阶段”(Revise phase),模型通过迭代优化逐步提升图像质量,同时严格保留生成图像的全局结构与上下文一致性。实验结果表明,该方法在条件图像生成任务上达到了当前最优(state-of-the-art)性能。此外,我们进一步验证了“Draft-and-Revise”解码策略能够通过有效调控图像生成中的质量与多样性权衡,实现高性能的图像生成。