Command Palette
Search for a command to run...
Tutoriel En Ligne | Nouvelle Technologie Pour La Synthèse Vocale Embarquée ! NeuTTS-Air Réalise Un Clonage Audio En 3 Secondes Basé Sur Le Modèle 0.5B
Les modèles TTS (synthèse vocale) traditionnels de haute qualité sont confrontés depuis longtemps à plusieurs défis majeurs : ils nécessitent souvent d’importantes ressources informatiques et des services cloud, ce qui engendre des coûts élevés difficilement supportables pour les petites entreprises et les développeurs indépendants ; de plus, la plupart de ces modèles requièrent des dizaines de minutes, voire des heures, de données audio pour leur apprentissage. Ces exigences de déploiement et d’exploitation constituent non seulement un frein à l’adoption de ces modèles, mais limitent également leur application dans des contextes où la confidentialité est primordiale.
NeuTTS-Air, le tout dernier modèle de synthèse vocale open source de bout en bout, offre une solution inédite aux défis posés par l'utilisation de la synthèse vocale.Premier modèle de langage TTS au monde fonctionnant localement et prenant en charge la synthèse vocale ultra-réaliste et le clonage vocal en temps réel,NeuTTS-Air, basé sur le LLM Qwen 0.5B et le codec audio NeuCodec, démontre non seulement d'excellentes capacités d'apprentissage en quelques étapes dans le déploiement en périphérie et le clonage vocal en temps réel, mais peut également se généraliser à de nouveaux scénarios tels que les agents intégrés et le transfert de style, prend en charge le clonage audio de 3 secondes et génère un contenu de dialogue naturel.
L'évaluation expérimentale montre queNeuTTS Air atteint des performances de pointe (SOTA) parmi les modèles open-source.Particulièrement performant dans les tests de synthèse hyperréaliste et d'inférence en temps réel, ce modèle offre une prise en charge de GGML/ONNX et un mécanisme de tatouage numérique après l'entraînement. Il se positionne ainsi en leader dans le domaine open source pour l'optimisation de la synthèse vocale en périphérie et de la consommation d'énergie, et rivalise avec les modèles propriétaires dans certains cas. Sa légèreté est un atout majeur.L'inférence peut être effectuée sur le processeur.Convient aux appareils tels que les téléphones portables, les ordinateurs portables et les Raspberry Pi.
Lien vers le tutoriel « Déploiement du modèle de clonage vocal NeuTTS-Air sur CPU » :
Le lancement de NeuTTS-Air intervient à un moment où la demande du secteur pour une synthèse vocale efficace, à faible latence et d'un réalisme saisissant explose, notamment pour le déploiement embarqué et le clonage vocal en temps réel. Il facilite le déploiement de solutions de synthèse vocale de haute qualité sur les appareils mobiles et périphériques, rendant les voix « surréalistes » moins réservées aux grandes plateformes cloud.
« NeuTTS-Air : un modèle de clonage vocal léger et efficace » est désormais disponible sur le site web d'HyperAI (hyper.ai) dans la section « Tutoriels ».Venez découvrir le déploiement en un clic !
Lien du tutoriel :
Essai de démonstration
1. Après avoir accédé à la page d'accueil d'hyper.ai, sélectionnez la page « Tutoriels » ou cliquez sur « Voir plus de tutoriels », sélectionnez « NeuTTS-Air : Modèle de clonage vocal léger et efficace », puis cliquez sur « Exécuter ce tutoriel en ligne ».
2. Une fois la page redirigée, cliquez sur « Cloner » en haut à droite pour cloner le tutoriel dans votre propre conteneur.
Remarque : Vous pouvez changer de langue en haut à droite de la page. Actuellement, le chinois et l’anglais sont disponibles. Ce tutoriel présente les étapes en anglais.
3. Sélectionnez les images « NVIDIA GeForce RTX 5090 » et « PyTorch », puis choisissez « Pay As You Go » ou « Daily Plan/Weekly Plan/Monthly Plan » selon vos besoins, puis cliquez sur « Continuer l’exécution de la tâche ».
4. Attendez que les ressources soient allouées. Le premier clonage prendra environ 3 minutes. Lorsque le statut passe à « En cours d'exécution », cliquez sur la flèche à côté de « Adresse API » pour accéder à la page de démonstration. Veuillez noter que les utilisateurs doivent s'authentifier avec leur nom réel avant d'utiliser l'adresse API.
Démonstration d'effet
Après avoir accédé à la page de démonstration, téléchargez le fichier audio de référence dans le champ « Fichier audio de référence », saisissez le texte de référence dans le champ « Texte de référence », saisissez le contenu textuel audio souhaité après clonage dans le champ « Texte à générer », cliquez sur « Soumettre » et patientez quelques instants pour obtenir le fichier audio cloné.
Le tutoriel ci-dessus est celui recommandé par HyperAI cette fois-ci. Bienvenue à tous pour le découvrir !
Lien du tutoriel :