2024 年 2 月,OpenAI 又一次站在了镁光灯下,Sora 横空出世并引发热烈讨论,「文生视频」的热潮被那段 60 秒的展示视频再度推高,也使得很多人忽视了其图片生成能力。
更加值得一提的是,其实就在 Sora 发布前不久,Stability AI 就已经开源了 AI 绘图工具 Stable Cascade,这个同样强大的工具也在一定程度上被 Sora「抢走」了热度。
据 Stability AI 官方介绍,相比于 Stable Diffusion 1.5,Stable Cascade 可以降低 16 倍成本。在不同模型的性能评估对比中,该模型在即时对齐和美学质量方面的表现优于或相当于其他模型。
作为新一代文生图模型,Stable Cascade 基于 Würstchen 架构而建立,分别由三个阶段组成。
Stage A 是 VAE 模型,Stage B 和 Stage C 是扩散模型。输入提示词后,Stage C 模型会根据文本生成 24*24 的低分辨率潜像,输入到 Stage B 模型中放大,然后输入到 Stage A 模型中再度放大,并转换为像素空间,最后生成图像。
这种分阶段的架构模式使得 Stable Cascade 在生成图像时更加灵活且高效。一方面,每个阶段使用不同大小的模型,可以让用户根据自己的硬件条件选择合适的模型,降低了硬件要求。另一方面,不同阶段模型能够单独训练或微调,进而让模型更好地适应不同任务和需求。
除了文生图外,Stable Cascade 还能进行图像变化和图像到图像的生成,功能非常强大。目前,ComfyUI 官方已经支持使用 Stable Cascade,通过搭建工作流,片刻即可生成图片。然而,用户在运行 ComfyUI Stable Cascade 时,往往需要耗费大量的时间进行节点的拖拽和连接,出现连接错误时,非技术人员也很难快速修改调整。
近日,B 站热门 up 主独立研究员-星空发布了「ComfyUI Stable Cascade 工作流在线教程」,教程已上线至超神经官网。该教程帮助大家搭建好环境,还内置了 Stable Cascade 默认文生图工作流,直接帮大家连好节点,简化使用流程,2 秒即可出图。
超神经公共教程地址:
https://hyper.ai/tutorials/30620
B 站 up 主独立研究员-星空的教学视频如下:
ComfyUI 云端整合包 内置 Stable Cascade 工作流 一键克隆 免去部署 赠送 4 小时 RTX4090 时长_哔哩哔哩_bilibili
根据教程,小编已经成功生成了各种风格的好看图片,快来尝试吧!
Demo 运行
2. 点击「在线运行此教程」,页面跳转后,点击「克隆」。
3. 点击右下角「下一步:选择算力」。
4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!
HyperAI 超神经专属邀请链接(直接复制到浏览器打开即可注册):
https://openbayes.com/console/signup?r=Ada0322_QZy7
5. 点击「继续执行」,等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。
若超过 5 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。
6. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入「./run.sh」。
7. 稍等片刻,当命令行出现「To see the GUI go to : http://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 ComfyUI 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。
效果展示
2. 在 CLIP 文本编码器中输入英文提示词,点击「添加提示词队列」,只需 2s,即可快速生成图片。
3. 如果想加载图生图、图像变体、多图混合和控制网络的工作流,可以到 ComfyUI Stable Cascade 官方页面下载更多工作流。
其他 Stable Cascade 工作流链接:
https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade
点击上述链接后,选择页面中的相应图片右键保存,再回到 OpenBayes 平台的 ComfyUI 界面,将保存的图片拖入其中,即可加载其他工作流啦。
目前,HyperAI 超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。
点击链接即可搜索相关教程及数据集:
以上就是小编本次分享的全部内容了,希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程,欢迎留言或私信告诉我们项目地址,小编将会为你量身打造课程,教你如何玩转 AI 。 (ps: 上次小伙伴留言要求的 SUPIR-AI 照片修复项目,已经在安排中啦。)
参考资料:
1.https://zhuanlan.zhihu.com/p/683276860
2.https://m.ithome.com/html/750418.htm
3.https://stability.ai/news/introducing-stable-cascade
4.https://www.aigc.cc/archives/sdsd.html
5.https://zhuanlan.zhihu.com/p/682460863
6.https://www.aihub.cn/tools/image/stablecascade/
7.https://zhuanlan.zhihu.com/p/683832139