PixelDiT2以像素空间扩散提升图像生成可控性

罗切斯特大学人工智能学者Jiebo Luo带领团队与英伟达合作，推出新一代图像生成模型PixelDiT2，试图解决当前文本生成图像模型在细节编辑中可控性不足的问题。此前，主流扩散模型多在潜在空间生成图像，即将物体特征压缩为高效表征，从而加快生成速度。但这种方式往往难以精确调节单个像素，用户要求修改某一细节时，模型可能连带影响无关区域。 为提升局部编辑能力，Luo团队和英伟达研究者转向像素空间扩散，直接对图像像素进行处理。团队最初研发的PixelDiT已在2026年IEEE/CVF计算机视觉与模式识别大会展示，允许用户针对特定区域进行修改，例如调整人物眼镜或汽车颜色。随后推出的PixelDiT2在保持像素级控制的同时提升了运行效率，性能接近当前领先的潜在空间生成模型。相关论文预计将于今年12月发表于神经信息处理系统大会，并已在预印本平台arXiv公开。 该项目参与人员包括罗切斯特大学计算机科学博士生、英伟达实习生Yongsheng Yu，以及该校计算机科学2022届博士、英伟达高级研究员Wei Xiong。下一阶段，团队计划将像素空间生成方法拓展至视频生成。相比图像，视频需要处理更多数据，并面临帧间运动平滑、时序一致性等难题。研究人员认为，PixelDiT2的进展为像素空间视频生成奠定基础，有望使用户对视频画面实现更精细的局部控制。