Résumé

Ce rapport présente VibeVoice, un modèle novateur conçu pour synthétiser des énoncés oraux longs impliquant plusieurs locuteurs grâce à une méthode de diffusion du token suivant (next-token diffusion), une approche unifiée pour modéliser des données continues en générant de manière autoregressive des vecteurs latents via une diffusion. Pour permettre cette fonctionnalité, nous introduisons un nouveau tokeniseur de parole continue, qui, comparé au modèle populaire Encodec, améliore la compression des données de 80 fois tout en maintenant des performances comparables. Ce tokeniseur préserve efficacement la fidélité audio tout en augmentant considérablement l’efficacité computationnelle lors du traitement de séquences longues. Ainsi, VibeVoice peut synthétiser des énoncés oraux longs pouvant atteindre 90 minutes (dans une fenêtre contextuelle de 64K) avec un maximum de 4 locuteurs, en capturant fidèlement l’atmosphère authentique des échanges conversationnels, tout en dépassant les modèles open source et propriétaires de dialogue existants.