RemixIT : Entraînement continu auto-référentiel de modèles d'amélioration de parole par remixage à l'aide d'un mécanisme d'auto-entraînement

Nous présentons RemixIT, une méthode simple mais efficace d’apprentissage automatique auto-supervisé pour la restauration de parole, ne nécessitant aucune parole isolée du domaine cible ni aucun signal de bruit. Notre approche surmonte les limitations des méthodes antérieures, qui reposaient sur des signaux cibles propres au domaine et étaient donc sensibles aux désalignements entre les échantillons d’entraînement et de test. RemixIT repose sur un schéma d’apprentissage auto-supervisé continu, dans lequel un modèle enseignant pré-entraîné sur des données hors domaine infère des signaux pseudo-cibles estimés à partir de mélanges du domaine cible. Ensuite, en permutant les signaux estimés de parole propre et de bruit, puis en les remixant, nous générons une nouvelle série de mélanges « bootstrappés » ainsi que leurs pseudo-cibles correspondantes, utilisées pour entraîner le modèle élève. À l’inverse, le modèle enseignant actualise périodiquement ses estimations à partir des paramètres mis à jour du modèle élève le plus récent. Les résultats expérimentaux sur plusieurs jeux de données et tâches de restauration de parole montrent non seulement l’avantage de notre méthode par rapport aux approches antérieures, mais aussi sa capacité à être combinée avec tout modèle de séparation, ainsi qu’à être appliquée à tout problème d’adaptation de domaine semi-supervisé ou non supervisé. Notre analyse, appuyée par des preuves empiriques, éclaire le fonctionnement interne de notre schéma d’apprentissage auto-supervisé, dans lequel le modèle élève continue d’améliorer ses performances tout en étant confronté à des pseudo-cibles fortement dégradées.