HiDiffusion 是旷视科技推出的开发的一种创新框架,旨在提升预训练扩散模型在生成高分辨率图像方面的创造力和效率。这是一种无需训练即可提高预训练扩散模型的分辨率和速度的方法,通过将 HiDiffusion 应用于各种预训练的扩散模型,不仅可以将图像生成的分辨率提高至 4096×4096,而且能将图像生成速度提升 1.5 至 6 倍。这一方法不仅解决了对象重复和高计算负担的问题,而且在生成高分辨率图像的任务上取得了卓越的效果。
该项目可支持各种任务,包括文本到图像、图像到图像、图像修复。
(Faster, and better image details.)
(2K results of ControlNet and inpainting tasks.)
HiDiffusion 适用以下三种方式,他们都对应一个模型, 在使用一个方法式会首先加载模型, 而后进行图像生成。如果切换方法则会重新加载模型。
通过输入正向提示词与反向提示词生成图像。
正向提示词: 描述希望在图像中看到的内容,
如:Standing tall amidst the ruins, a stone golem awakens, vines and flowers sprouting from the crevices in its body.(废墟之中,一尊石傀苏醒,藤蔓和花朵从它身体的缝隙中萌芽。) 。
逆向提示词: 用于描述不希望在图像中出现的内容,通过排除不需要的元素来优化生成结果,
例如:blurry, ugly, duplicate, poorly drawn face, deformed, mosaic, artifacts, bad limbs(模糊、丑陋、重复、面部绘制不佳、变形、马赛克、伪影、四肢不良) 。
使用步骤及生成效果如下图所示
ControlNet: 在原始图像的轮廓的基础上根据提示词进行生成图像, 首先将原始图像的轮廓提取出来, 而后根据这个轮廓进行生成, 操作如下图所示
原始图像: 输入要进行修复的图像
修复区域: 输入要修复的区域, 其实就是一张二值图像, 其中白色区域为要修复的区域, 黑色区域为冻结区域, 在进行修复时同样根据 zheng dan 提示词将白色区域的进行修改!
例如输入正向提示词为:A steampunk explorer in a leather aviator cap and goggles, with a brass telescope in hand, stands amidst towering ancient trees, their roots entwined with intricate gears and pipes.(一位蒸汽朋克探险家戴着皮革飞行员帽和护目镜,手里拿着黄铜望远镜,站在高耸的古树中间,树根上缠绕着复杂的齿轮和管道。)
逆向提示词为:blurry, ugly, duplicate, poorly drawn face, deformed, mosaic, artifacts, bad limbs(模糊、丑陋、重复、面部绘制不佳、变形、马赛克、伪影、四肢不良) 。
使用步骤及生成效果如下图所示
🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓