HyperAIHyperAI

Command Palette

Search for a command to run...

Rapport technique VibeVoice

Résumé

Ce rapport présente VibeVoice, un modèle novateur conçu pour synthétiser des énoncés oraux longs impliquant plusieurs locuteurs grâce à une méthode de diffusion du token suivant (next-token diffusion), une approche unifiée pour modéliser des données continues en générant de manière autoregressive des vecteurs latents via une diffusion. Pour permettre cette fonctionnalité, nous introduisons un nouveau tokeniseur de parole continue, qui, comparé au modèle populaire Encodec, améliore la compression des données de 80 fois tout en maintenant des performances comparables. Ce tokeniseur préserve efficacement la fidélité audio tout en augmentant considérablement l’efficacité computationnelle lors du traitement de séquences longues. Ainsi, VibeVoice peut synthétiser des énoncés oraux longs pouvant atteindre 90 minutes (dans une fenêtre contextuelle de 64K) avec un maximum de 4 locuteurs, en capturant fidèlement l’atmosphère authentique des échanges conversationnels, tout en dépassant les modèles open source et propriétaires de dialogue existants.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
Rapport technique VibeVoice | Articles | HyperAI