内含教程丨最高可降低 16 倍成本,ComfyUI Stable Cascade 教程已上线,一键部署!

特色图像

2024 年 2 月,OpenAI  又一次站在了镁光灯下,Sora 横空出世并引发热烈讨论,「文生视频」的热潮被那段 60 秒的展示视频再度推高,也使得很多人忽视了其图片生成能力。

更加值得一提的是,其实就在 Sora 发布前不久,Stability AI  就已经开源了 AI 绘图工具 Stable Cascade,这个同样强大的工具也在一定程度上被 Sora「抢走」了热度。

图源:AIGC 芝士计划 

据 Stability AI 官方介绍,相比于 Stable Diffusion 1.5,Stable Cascade 可以降低 16 倍成本。在不同模型的性能评估对比中,该模型在即时对齐和美学质量方面的表现优于或相当于其他模型。

作为新一代文生图模型,Stable Cascade 基于 Würstchen 架构而建立,分别由三个阶段组成。

Stable Cascade 模型 

Stage A 是 VAE 模型,Stage B 和 Stage C 是扩散模型。输入提示词后,Stage C 模型会根据文本生成 24*24 的低分辨率潜像,输入到 Stage B 模型中放大,然后输入到 Stage A 模型中再度放大,并转换为像素空间,最后生成图像。

这种分阶段的架构模式使得 Stable Cascade 在生成图像时更加灵活且高效。一方面,每个阶段使用不同大小的模型,可以让用户根据自己的硬件条件选择合适的模型,降低了硬件要求。另一方面,不同阶段模型能够单独训练或微调,进而让模型更好地适应不同任务和需求。

除了文生图外,Stable Cascade 还能进行图像变化和图像到图像的生成,功能非常强大。目前,ComfyUI  官方已经支持使用 Stable Cascade,通过搭建工作流,片刻即可生成图片。然而,用户在运行 ComfyUI Stable Cascade 时,往往需要耗费大量的时间进行节点的拖拽和连接,出现连接错误时,非技术人员也很难快速修改调整。

近日,B 站热门 up 主独立研究员-星空发布了「ComfyUI Stable Cascade 工作流在线教程」,教程已上线至超神经官网。该教程帮助大家搭建好环境,还内置了 Stable Cascade 默认文生图工作流,直接帮大家连好节点,简化使用流程,2 秒即可出图。

超神经公共教程地址:

https://hyper.ai/tutorials/30620

B 站 up 主独立研究员-星空的教学视频如下:

ComfyUI 云端整合包 内置 Stable Cascade 工作流 一键克隆 免去部署 赠送 4 小时 RTX4090 时长_哔哩哔哩_bilibili

根据教程,小编已经成功生成了各种风格的好看图片,快来尝试吧!

Demo 运行

  1. 登录 https://hyper.ai/,在「教程」页面,选择「ComfyUI Stable Cascade 工作流在线教程」。

2. 点击「在线运行此教程」,页面跳转后,点击「克隆」。

3. 点击右下角「下一步:选择算力」。

4. 跳转后,选择「NVIDIA GeForce RTX 4090」,点击「下一步:审核」。新用户使用下方邀请链接注册,即可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费算力时长!

HyperAI 超神经专属邀请链接(直接复制到浏览器打开即可注册):

https://openbayes.com/console/signup?r=Ada0322_QZy7

5. 点击「继续执行」,等待分配资源,首次克隆需等待 2 分钟左右的时间。当状态变为「运行中」后,点击「打开工作空间」。

若超过 5 分钟仍处于「正在分配资源」状态,可尝试停止并重启容器;若重启仍无法解决,请在官网联系平台客服。

6. 打开工作空间后,在启动页新建一个终端会话,然后在命令行里输入「./run.sh」。

7. 稍等片刻,当命令行出现「To see the GUI go to : http://0.0.0.0:8080」后,拷贝右侧 API 地址到浏览器地址栏中,即可访问 ComfyUI 界面。请注意,用户需在实名认证后才能使用 API 地址访问功能。

效果展示

  1. 打开 ComfyUI 界面后,点击「Switch Locale」切换成中文模式,再点击「加载默认」直接加载文生图工作流。

2. 在 CLIP 文本编码器中输入英文提示词,点击「添加提示词队列」,只需 2s,即可快速生成图片。

3. 如果想加载图生图、图像变体、多图混合和控制网络的工作流,可以到 ComfyUI Stable Cascade 官方页面下载更多工作流。

其他 Stable Cascade 工作流链接:

https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade

点击上述链接后,选择页面中的相应图片右键保存,再回到 OpenBayes  平台的 ComfyUI 界面,将保存的图片拖入其中,即可加载其他工作流啦。

目前,HyperAI 超神经官网已上线了数百个精选的机器学习相关教程,并整理成 Jupyter Notebook 的形式。

点击链接即可搜索相关教程及数据集:

https://hyper.ai/tutorials

以上就是小编本次分享的全部内容了,希望这次的内容对您有所帮助。如果大家还想学习其他好玩的教程,欢迎留言或私信告诉我们项目地址,小编将会为你量身打造课程,教你如何玩转 AI 。 (ps: 上次小伙伴留言要求的 SUPIR-AI 照片修复项目,已经在安排中啦。)

参考资料:

1.https://zhuanlan.zhihu.com/p/683276860

2.https://m.ithome.com/html/750418.htm

3.https://stability.ai/news/introducing-stable-cascade

4.https://www.aigc.cc/archives/sdsd.html

5.https://zhuanlan.zhihu.com/p/682460863

6.https://www.aihub.cn/tools/image/stablecascade/

7.https://zhuanlan.zhihu.com/p/683832139