HyperAI
Command Palette
Search for a command to run...
CogView：通过Transformer掌握文本到图像生成技术
CogView：通过Transformer掌握文本到图像生成技术
Ming Ding†, Zhuoyi Yang†, Wenyi Hong‡, Wendi Zheng†, Chang Zhou†, Da Yin†, Junyang Lin‡, Xu Zou†, Zhou Shao♠, Hongxia Yang‡, Jie Tang†♠
摘要
文本到图像生成在通用领域一直是一个开放问题，它不仅需要一个强大的生成模型，还需要跨模态理解能力。我们提出了CogView，这是一个拥有40亿参数的Transformer模型，结合了VQ-VAE编码器来推进这一问题。此外，我们还展示了针对各种下游任务的微调策略，例如风格学习、超分辨率、文本-图像排序和时尚设计，并介绍了稳定预训练的方法，如消除NaN损失。CogView在模糊的MS COCO数据集上取得了最先进的FID分数，优于以往基于GAN的模型和最近类似的工作DALL-E。