HyperAI
Command Palette
Search for a command to run...
In-Context Edit:指令驱动图像生成与编辑

一、教程简介
In-Context Edit 是由浙江大学和哈佛大学于 2025 年 4 月 29 日发布的一款基于指令的图像编辑的高效框架。与以前的方法相比,ICEdit 只有 1% 的可训练参数(200 M)和 0.1% 的训练数据(50 k),表现出强大的泛化能力,能够处理各种编辑任务。与 Gemini 、 GPT4o 等商用模型相比,更加开源,成本更低,速度更快,性能强大 。相关论文成果为 In-Context Edit: Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer 。
本教程采用资源为单卡 RTX 4090,如需达到官方提到的 9 秒生成图片则需要更高配置的显卡。该项目目前只支持英文的文本描述。
该项目使用到的模型:
- normal-lora
- FLUX.1-Fill-dev
二、项目示例
与其他商业模型进行比较
三、运行步骤
1. 启动容器后点击 API 地址即可进入 Web 界面
若显示「Bad Gateway」,这表示模型正在初始化,由于模型较大,请等待约 1-2 分钟后刷新页面。
2. 使用演示
❗️重要的使用技巧:
- Guidance Scale: 它用于控制生成模型中条件输入(如文本或图像)对生成结果的影响程度。较高的指导值会让生成结果更加贴近输入条件,而较低的值会保留更多随机性。
- Number of inference steps: 表示模型的迭代次数或推理过程中的步数, 代表模型用于生成结果的优化步数。更高的步数通常会生成更精细的结果,但可能增加计算时间。
- Seed: 随机数种子,用于控制生成过程中的随机性。相同的 Seed 值可以生成相同的结果(前提是其他参数相同),这在结果复现中非常重要。
四、交流探讨
🖌️ 如果大家看到优质项目,欢迎后台留言推荐!另外,我们还建立了教程交流群,欢迎小伙伴们扫码备注【SD 教程】入群探讨各类技术问题、分享应用效果↓
引用信息
感谢 Github 用户 SuperYang 对本教程的部署。本项目引用信息如下:
@misc{zhang2025ICEdit,
title={In-Context Edit: Enabling Instructional Image Editing with In-Context Generation in Large Scale Diffusion Transformer},
author={Zechuan Zhang and Ji Xie and Yu Lu and Zongxin Yang and Yi Yang},
year={2025},
eprint={2504.20690},
archivePrefix={arXiv},
primaryClass={cs.CV},
url={https://arxiv.org/abs/2504.20690},
}
本笔记本由社区用户贡献,仅用于教育和信息传播目的。如果任何内容涉及版权侵权,请通过 [email protected] 联系我们,我们将及时审核并删除。
