PhotoMaker V2: 与 V1 相比改进了 ID 保真度并有更好的可控性

教程简介

PhotoMaker 是腾讯团队于 2024 年开源的一个高效的人像定制文生图模型，可以快速地根据人物照生成定制的艺术风格照片。除了生成个性化人物照片以外，它还能改变人物的年龄和性别，整合不同人物的特征创造新的人物信息，是一款非常实用的 AI 绘画工具。该教程是 PhotoMaker 的 2.0 版本，跟 V1 比起来，在角色一致性和可控性上有了大提升。

该教程已经搭建好了相关环境，只需输入一个指令即可体验 Demo 。

PhotoMaker V2 的主要改进内容

• ID 保真度进一步提高，特别是单幅图像输入和亚洲人脸输入。输入更多的面部图像仍然可以产生更好的结果。
• 通过集成 ControlNet 、 twi – adapter 和 IP-Adapter，生成过程变得更加可控。研究团队提供了相应的脚本供参考。此外，PhotoMaker V2 允许用户通过将其与 IP-Adapter-FaceID, InstantID 和字符 LoRA 相结合来实现更好的 ID 一致性。
• PhotoMaker V2 继承了 PhotoMaker V1 的良好特性，如高质量和多样化的生成能力，以及强大的文本控制。此外，它还可以集成以前的模型，如将老照片或绘画中的人物还原到现实中，身份混合，以及更改年龄或性别。

效果展示

运行方法

1. 克隆并启动容器后，打开工作空间

2. 新建终端并输入指令 bash run.sh

3. 待出现 8080 端口后，点击右侧 API 地址处的链接即可进入模型体验

4. 进入网站后可以看到如下界面

• 上传你想使用的人像图片（可以上传多张图像）
• 使用英文输入提示，模型会根据输入的提示生成图片。

注意, 要生成的类别词汇要使用触发词 img ，例如 man img, woman img, girl img 。

• 从 Style templat 中选择想要的风格。这些风格都是一些预设好的提示。
• 点击 submit 即可生成图像。

在网站底部有一些示例，点击可以直接加载使用。

同时也可以根据自己的需要对高级设置进行更改，以下是一些参数说明。

• Negative Prompt：这指定了生成输出时应该避免的特征。通过输入如「对称性差、质量差、低质量、插画、 3D 、 2D 、绘画、卡通、素描、张嘴」等术语，模型将尝试避免在生成的图像中包含这些特征。
• Number of sample steps：这控制了模型生成图像时所进行的步骤数量。更多的步骤通常会产生更高质量的图像，因为模型有更多机会去细化输出。
• Style strength：这表示指定的风格应该多大程度上影响输出图像。百分比越高，风格的影响力就越大。
• Number of output images：这决定了模型在一次生成过程中应该生成多少张图像
• Guidance scale：这个参数调整了模型应多严格地遵循提示。较高的引导比例意味着模型会更严格地遵循提示，这可能会导致更准确但创造力较低的结果。
• Seed：种子值用于初始化随机数生成器，影响输出。通过设置特定的种子，可以确保结果的可重复性。勾选 Randomize seed 后将每次生成不同的图像。

探讨交流

🖌️ 如果大家看到优质项目，欢迎后台留言推荐！另外，我们还建立了教程交流群，欢迎小伙伴们扫码备注【教程交流】入群探讨各类技术问题、分享应用效果↓