PhotoMaker V2 : fidélité d'identification améliorée et meilleur contrôle sur V1

Introduction au tutoriel

PhotoMaker est un modèle graphique personnalisé de portrait efficace, open source par l'équipe Tencent en 2024. Il peut générer rapidement des photos de style artistique personnalisées basées sur des photos de portrait. En plus de générer des portraits personnalisés, il peut également modifier l'âge et le sexe des personnages et intégrer les caractéristiques de différents personnages pour créer de nouvelles informations sur les personnages. C'est un outil de peinture IA très pratique. Ce tutoriel est la version 2.0 de PhotoMaker, qui a considérablement amélioré la cohérence et la contrôlabilité des personnages par rapport à la V1.

Ce tutoriel a déjà configuré l'environnement approprié. Il vous suffit d'entrer une commande pour découvrir la démo.

Améliorations majeures dans PhotoMaker V2

La fidélité de l'identification est encore améliorée, en particulier pour la saisie d'une seule image et la saisie de visages asiatiques. L'ajout de davantage d'images de visages peut encore produire de meilleurs résultats.
En intégrant ControlNet, twi-adapter et IP-Adapter, le processus de génération devient plus contrôlable. L’équipe de recherche a fourni le script correspondant à titre de référence. De plus, PhotoMaker V2 permet aux utilisateurs d'obtenir une meilleure cohérence d'identification en le combinant avec IP-Adapter-FaceID, InstantID et Character LoRA.
PhotoMaker V2 hérite des bonnes fonctionnalités de PhotoMaker V1, telles que des capacités de génération de haute qualité et diverses, ainsi qu'un contrôle de texte puissant. De plus, il peut intégrer des modèles antérieurs, tels que la restauration de personnes sur de vieilles photos ou peintures à la réalité, le mélange d'identités et le changement d'âge ou de sexe.

Affichage des effets

Comment courir

1. Après avoir cloné et démarré le conteneur, ouvrez l'espace de travail

2. Créez un nouveau terminal et entrez la commande `bash run.sh`

3. Une fois le port 8080 affiché, cliquez sur le lien à l'adresse API à droite pour accéder à l'expérience du modèle

4. Après être entré sur le site Web, vous pouvez voir l'interface suivante

Téléchargez l'image du portrait que vous souhaitez utiliser (vous pouvez télécharger plusieurs images)
À l’aide d’invites de saisie en anglais, le modèle générera des images en fonction des invites de saisie.

Notez que le vocabulaire de catégorie à générer doit utiliser le mot déclencheur img, tel que homme img, femme img, fille img.

Sélectionnez le style souhaité dans le modèle de style. Ces styles sont des invites prédéfinies.
Cliquez sur Soumettre pour générer l'image.

Vous trouverez quelques exemples au bas du site. Cliquez dessus pour les charger directement.

Vous pouvez également modifier les paramètres avancés en fonction de vos besoins. Voici quelques descriptions de paramètres.

Invite négative : cela spécifie les fonctionnalités qui doivent être évitées lors de la génération de sortie. En saisissant des termes tels que « mauvaise symétrie, mauvaise qualité, basse qualité, illustration, 3D, 2D, peinture, dessin animé, croquis, bouche ouverte », le modèle essaiera d'éviter d'inclure ces caractéristiques dans les images générées.
Nombre d'étapes d'échantillonnage : cela contrôle le nombre d'étapes que le modèle effectue lors de la génération d'images. Un plus grand nombre d'étapes produit généralement des images de meilleure qualité, car le modèle a plus de possibilités d'affiner la sortie.
Force du style : cela indique dans quelle mesure le style spécifié doit affecter l'image de sortie. Plus le pourcentage est élevé, plus le style est influent.
Nombre d'images de sortie : cela détermine le nombre d'images que le modèle doit générer au cours d'un processus de génération
Échelle de guidage : ce paramètre ajuste la rigueur avec laquelle le modèle doit suivre les invites. Un ratio de guidage plus élevé signifie que le modèle suit l'invite de plus près, ce qui peut conduire à des résultats plus précis mais moins créatifs.
Graine : la valeur de graine est utilisée pour initialiser le générateur de nombres aléatoires et affecter la sortie. En définissant une graine spécifique, vous pouvez garantir des résultats reproductibles. La vérification de l'option Randomiser les graines générera une image différente à chaque fois.

Discussion et échange

🖌️ Si vous voyez un projet de haute qualité, veuillez laisser un message en arrière-plan pour le recommander ! De plus, nous avons également créé un groupe d’échange de tutoriels. Bienvenue aux amis pour scanner le code QR et commenter [Tutorial Exchange] pour rejoindre le groupe pour discuter de divers problèmes techniques et partager les résultats de l'application↓