HyperAIHyperAI

Command Palette

Search for a command to run...

JanusFlow : Harmoniser la régression autodéductive et le flux rectifié pour une compréhension et une génération multimodales unifiées

Résumé

Nous présentons JanusFlow, un cadre puissant qui unifie la compréhension et la génération d’images au sein d’un seul modèle. JanusFlow introduit une architecture minimaliste qui intègre les modèles linguistiques autoregressifs avec le flow rectifié, une méthode de pointe en modélisation générative. Notre résultat clé démontre que le flow rectifié peut être entraîné de manière directe dans le cadre des grands modèles linguistiques, sans nécessiter de modifications architecturales complexes. Pour améliorer davantage les performances de notre modèle unifié, nous adoptons deux stratégies essentielles : (i) découpler les encodeurs de compréhension et de génération, et (ii) aligner leurs représentations durant l’entraînement unifié. Des expériences étendues montrent que JanusFlow atteint des performances comparables ou supérieures à celles des modèles spécialisés dans leurs domaines respectifs, tout en surpassant de manière significative les approches unifiées existantes sur des benchmarks standards. Ce travail constitue une avancée vers des modèles vision-langage plus efficaces et polyvalents.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp