HyperAIHyperAI

Command Palette

Search for a command to run...

FullSubNet : un modèle de fusion bande complète et sous-bande pour l'amélioration en temps réel de la parole mono-canal

Xiang Hao Xiangdong Su Radu Horaud Xiaofei Li

Résumé

Cet article propose un modèle de fusion à large bande et à sous-bande, nommé FullSubNet, pour l’amélioration en temps réel du parle unique à canal unique. Les termes « large bande » et « sous-bande » désignent respectivement les modèles qui reçoivent en entrée des caractéristiques spectrales bruitées sur toute la largeur de bande ou sur des sous-bandes, et produisent en sortie des cibles de parole nette correspondantes à la large bande ou aux sous-bandes. Le modèle à sous-bande traite chaque fréquence de manière indépendante. Son entrée est constituée d’une fréquence cible et de plusieurs fréquences contextuelles voisines, tandis que sa sortie correspond à la prédiction de la parole nette pour cette fréquence spécifique. Ces deux types de modèles présentent des caractéristiques distinctes : le modèle à large bande est capable de capturer le contexte spectral global et les dépendances à longue distance entre bandes, mais il manque de capacité à modéliser la stationnarité du signal et à s’attarder sur les motifs spectraux locaux. À l’inverse, le modèle à sous-bande excelle dans ces aspects. Dans le FullSubNet proposé, nous connectons séquentiellement un modèle pur à large bande et un modèle pur à sous-bande, et utilisons un entraînement conjoint pratique pour intégrer les avantages de ces deux approches. Des expériences ont été menées sur le jeu de données du DNS Challenge (INTERSPEECH 2020) afin d’évaluer la méthode proposée. Les résultats expérimentaux montrent que les informations à large bande et à sous-bande sont complémentaires, et que FullSubNet peut les intégrer efficacement. En outre, les performances du FullSubNet dépassent celles des méthodes classées en tête du DNS Challenge (INTERSPEECH 2020).


Créer de l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec le co-codage IA gratuit, un environnement prêt à l'emploi et le meilleur prix pour les GPU.

Codage assisté par IA
GPU prêts à l’emploi
Tarifs les plus avantageux

HyperAI Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp