HyperAIHyperAI

Command Palette

Search for a command to run...

RemixIT : Entraînement continu auto-référentiel de modèles d'amélioration de parole par remixage à l'aide d'un mécanisme d'auto-entraînement

Efthymios Tzinis Yossi Adi Vamsi Krishna Ithapu Buye Xu Paris Smaragdis Anurag Kumar

Résumé

Nous présentons RemixIT, une méthode simple mais efficace d’apprentissage automatique auto-supervisé pour la restauration de parole, ne nécessitant aucune parole isolée du domaine cible ni aucun signal de bruit. Notre approche surmonte les limitations des méthodes antérieures, qui reposaient sur des signaux cibles propres au domaine et étaient donc sensibles aux désalignements entre les échantillons d’entraînement et de test. RemixIT repose sur un schéma d’apprentissage auto-supervisé continu, dans lequel un modèle enseignant pré-entraîné sur des données hors domaine infère des signaux pseudo-cibles estimés à partir de mélanges du domaine cible. Ensuite, en permutant les signaux estimés de parole propre et de bruit, puis en les remixant, nous générons une nouvelle série de mélanges « bootstrappés » ainsi que leurs pseudo-cibles correspondantes, utilisées pour entraîner le modèle élève. À l’inverse, le modèle enseignant actualise périodiquement ses estimations à partir des paramètres mis à jour du modèle élève le plus récent. Les résultats expérimentaux sur plusieurs jeux de données et tâches de restauration de parole montrent non seulement l’avantage de notre méthode par rapport aux approches antérieures, mais aussi sa capacité à être combinée avec tout modèle de séparation, ainsi qu’à être appliquée à tout problème d’adaptation de domaine semi-supervisé ou non supervisé. Notre analyse, appuyée par des preuves empiriques, éclaire le fonctionnement interne de notre schéma d’apprentissage auto-supervisé, dans lequel le modèle élève continue d’améliorer ses performances tout en étant confronté à des pseudo-cibles fortement dégradées.


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp