HyperAIHyperAI

Command Palette

Search for a command to run...

Conversion du style d'expression dans le domaine des formes d'onde en utilisant des unités auto-supervisées discrètes

Gallil Maimon Yossi Adi

Résumé

Nous présentons DISSC, une nouvelle méthode légère qui convertit le rythme, le contour de hauteur et le timbre d’un enregistrement vers un locuteur cible de manière textless. Contrairement à DISSC, la plupart des méthodes de conversion vocale (VC) se concentrent principalement sur le timbre, tout en ignorant le style de parole unique d’un individu (la prosodie). La méthode proposée utilise un modèle pré-entraîné et auto-supervisé pour encoder la parole en unités discrètes, ce qui la rend simple, efficace et rapide à entraîner. Tous les modules de conversion sont entraînés uniquement sur des tâches de reconstruction, ce qui les rend adaptés à une conversion vocale de type n’importe quel vers plusieurs, sans nécessiter de données appariées. Nous introduisons une série de métriques quantitatives et qualitatives pour évaluer ce cadre, et démontrons empiriquement que DISSC surpasse significativement les méthodes de référence évaluées. Le code source et des exemples sont disponibles à l’adresse suivante : https://pages.cs.huji.ac.il/adiyoss-lab/dissc/.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp