HyperAIHyperAI

Command Palette

Search for a command to run...

Unir et conquérir : Synthèse multi-modale plug-and-play à l'aide de modèles de diffusion

Nithin Gopalakrishnan Nair Wele Gedara Chaminda Bandara Vishal M. Patel

Résumé

La génération d'images photographiques satisfaisant plusieurs contraintes trouve un large éventail d'applications dans l'industrie de la création de contenu. Un obstacle majeur à la réalisation de cette tâche est la nécessité de données appariées comprenant toutes les modalités (c'est-à-dire, les contraintes) et leurs résultats correspondants. De plus, les méthodes existantes nécessitent une réentraîne avec des données appariées sur toutes les modalités pour introduire une nouvelle condition. Cet article propose une solution à ce problème basée sur les modèles probabilistes de diffusion débruitante (DDPMs). Notre choix des modèles de diffusion plutôt que d'autres modèles génératifs s'explique par leur structure interne flexible. Comme chaque étape d'échantillonnage dans le DDPM suit une distribution gaussienne, nous montrons qu'il existe une solution sous forme fermée pour générer une image en tenant compte de diverses contraintes. Notre méthode peut unifier plusieurs modèles de diffusion entraînés sur plusieurs sous-tâches et maîtriser la tâche combinée grâce à notre stratégie d'échantillonnage proposée. Nous introduisons également un nouveau paramètre de fiabilité qui permet d'utiliser différents modèles de diffusion pré-entraînés sur divers jeux de données lors du temps d'échantillonnage pour guider le processus vers le résultat souhaité, satisfaisant plusieurs contraintes. Nous menons des expériences sur diverses tâches multimodales standard pour démontrer l'efficacité de notre approche. Pour plus de détails, veuillez consulter : https://nithin-gk.github.io/projectpages/Multidiff/index.html


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Unir et conquérir : Synthèse multi-modale plug-and-play à l'aide de modèles de diffusion | Articles | HyperAI