HyperAIHyperAI

Command Palette

Search for a command to run...

FLUX qui joue de la musique

Zhengcong Fei Mingyuan Fan Changqian Yu Junshi Huang

Résumé

Ce document explore une extension simple du flux rectifié basé sur la diffusion pour la génération de musique à partir du texte, dénommée FluxMusic. Généralement, en association avec le modèle Flux avancé (https://github.com/black-forest-labs/flux), nous transférons ce modèle dans un espace VAE latent de mél-spectre. Cela implique d'abord d'appliquer une série d'attention indépendante au flux double texte-musique, suivi par un flux unique de musique empilé pour prédire les patches débruités. Nous utilisons plusieurs encodeurs de texte pré-entraînés afin de capturer suffisamment les informations sémantiques des légendes ainsi que la flexibilité de l'inférence. Entre ces étapes, des informations textuelles grossières, conjointement avec les plongements temporels, sont utilisées dans un mécanisme de modulation, tandis que les détails textuels fins sont concaténés avec la séquence de patches musicaux en tant qu'entrées. Par le biais d'une étude approfondie, nous démontrons que l'entraînement du flux rectifié avec une architecture optimisée surpasse considérablement les méthodes de diffusion établies pour la tâche de génération de musique à partir du texte, comme en témoignent diverses métriques automatiques et évaluations des préférences humaines. Nos données expérimentales, notre code et les poids de notre modèle sont rendus publiquement disponibles à l'adresse suivante : https://github.com/feizc/FluxMusic.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
FLUX qui joue de la musique | Articles | HyperAI