HyperAIHyperAI

Command Palette

Search for a command to run...

Console
2 天前

OmniPSD:基于扩散Transformer的分层PSD生成

Cheng Liu Yiren Song Haofan Wang Mike Zheng Shou

OmniPSD:基于扩散Transformer的分层PSD生成

摘要

近年来,扩散模型在图像生成与编辑方面取得了显著进展,但生成或重建包含透明Alpha通道的分层PSD文件仍面临巨大挑战。为此,我们提出OmniPSD,一个基于Flux生态系统的统一扩散框架,通过上下文学习(in-context learning)实现文本到PSD的生成与图像到PSD的分解。在文本到PSD生成任务中,OmniPSD将多个目标图层在单个画布中进行空间排布,并通过空间注意力机制学习其构图关系,生成语义连贯且具有层次结构的图层。在图像到PSD的分解任务中,该方法采用迭代式上下文编辑策略,逐步提取并消除文本与前景内容,从而从单一的扁平化图像中重建出可编辑的PSD图层。为在不干扰结构学习的前提下保持透明度信息,OmniPSD引入了RGBA-VAE作为辅助表示模块。在我们新构建的RGBA分层数据集上的大量实验表明,OmniPSD在生成保真度、结构一致性以及透明度感知方面均表现优异,为基于扩散Transformer的分层设计生成与分解提供了一种全新的范式。

用 AI 构建 AI

从想法到上线——通过免费 AI 协同编程、开箱即用的环境和市场最优价格的 GPU 加速您的 AI 开发

AI 协同编程
即用型 GPU
最优价格
立即开始

Hyper Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供
OmniPSD:基于扩散Transformer的分层PSD生成 | 论文 | HyperAI超神经