À mesure que l'IA générative évolue vers des approches multimodales, la synthèse vocale (TTS) passe progressivement des capacités basées sur le cloud aux capacités locales. Auparavant, les systèmes TTS de haute qualité reposaient souvent sur des modèles volumineux, l'inférence dans le cloud et des processus de déploiement complexes. Si cette approche permettait d'obtenir une parole naturelle, elle engendrait également des problèmes de latence, de coût et de confidentialité. Dans des environnements tels que les appareils mobiles, les navigateurs et les périphériques de périphérie, la génération vocale multilingue en temps réel et de haute qualité, avec une consommation de ressources réduite, devient un enjeu majeur pour l'industrie.

En mai de cette année,L'équipe de Supertone a publié en open source Supertonic-3, un modèle de synthèse vocale multilingue léger, qui a déjà recueilli 8,8k étoiles sur GitHub.Ce modèle, basé sur ONNX Runtime, fonctionne entièrement en local. Il permet la synthèse vocale en temps réel sur un processeur, sans recourir aux API cloud ni aux GPU.

Comparé à de nombreux systèmes TTS open-source actuels comportant des milliards de paramètres, Supertonic-3 se distingue notamment par sa taille réduite mais sa complétude.Le modèle complet ne comporte qu'environ 99 millions de paramètres, mais il prend en charge 31 langues, 10 timbres prédéfinis et offre des fonctionnalités telles que la segmentation de textes longs, le contrôle des intervalles de silence et les étiquettes d'expression faciale.Par exemple, les développeurs peuvent... , , Des balises telles que [liste de balises] ajoutent des émotions et des pauses plus naturelles au discours généré sans avoir besoin de références audio supplémentaires ni d'une ingénierie de guidage complexe.

Le communiqué officiel indique que sa vitesse d'inférence est suffisante pour convertir une page web entière en audio en une seconde, tout en produisant directement un fichier WAV 16 bits de haute qualité (44,1 kHz) lisible sans post-traitement. Pour les développeurs souhaitant créer des assistants IA locaux, des lecteurs hors ligne, des systèmes de diffusion vocale ou des outils de contenu multilingues, ce type de solution « légère et multiplateforme » séduit de plus en plus.

récemment,La section tutoriels du site officiel d'HyperAI (hyper.ai) présente désormais « Supertonic-3 : un système de synthèse vocale multilingue local léger », et la configuration de l'environnement est terminée.Découvrez gratuitement des modèles TTS de haute qualité grâce à Free CPU.

Exécutez en ligne :

https://go.hyper.ai/Mr31r

Plus de tutoriels en ligne :

https://hyper.ai/notebooks

Bienvenue sur notre site web officiel pour plus d'informations :

https://hyper.ai

Essai de démonstration

1. Après avoir accédé à la page d'accueil d'hyper.ai, sélectionnez la page « Tutoriels », ou cliquez sur « Voir plus de tutoriels », sélectionnez « Supertonic-3 : Système de synthèse vocale multilingue local léger », et cliquez sur « Exécuter ce tutoriel ».

2. Une fois la page redirigée, cliquez sur « Cloner » en haut à droite pour cloner le tutoriel dans votre propre conteneur.

Remarque : Vous pouvez changer de langue en haut à droite de la page. Actuellement, le chinois et l’anglais sont disponibles. Ce tutoriel présente les étapes en anglais.

3. Sélectionnez l'image « Free CPU » et « PyTorch », puis cliquez sur « Continuer l'exécution de la tâche ».

HyperAI propose un bonus d'inscription pour les nouveaux utilisateurs : pour seulement $1, vous pouvez obtenir 20 heures de puissance de calcul RTX 5090 (au lieu de $7), et les ressources sont valables indéfiniment.

4. Attendez que les ressources soient allouées. Une fois que le statut passe à « En cours d'exécution », cliquez sur « Ouvrir l'espace de travail » pour accéder à l'espace de travail Jupyter.

Affichage des effets

1. Une fois la page redirigée, cliquez sur le fichier README à gauche, puis sur « Exécuter » en haut.

2. Une fois le processus terminé, cliquez sur l'adresse API à droite pour accéder à la page de démonstration.