HyperAIHyperAI

Command Palette

Search for a command to run...

Console
il y a 4 mois

D²Net : Un réseau de débruitage et de suppression de réverbération basé sur un encodeur à deux branches et un transformateur à double parcours

{and Ying Hu Yadong Chen Wenbing Wei Liusong Wang}

D²Net : Un réseau de débruitage et de suppression de réverbération basé sur un encodeur à deux branches et un transformateur à double parcours

Résumé

Le débruitage et la suppression de réverbération simultanés pour un signal vocal mixte mono-canal dans un environnement acoustique complexe constituent une tâche particulièrement exigeante. Dans cet article, nous proposons un réseau de débruitage et de suppression de réverbération appelé D²Net, dans lequel un encodeur à deux branches (TBE, Two-Branch Encoder) est conçu pour extraire et fusionner sélectivement des caractéristiques à différentes granularités. En outre, nous avons conçu un transformateur à double chemin global-local (GLDPT), qui intègre l’attention de synthèse dense locale (LDSA, Local Dense Synthesizer Attention) dans le cadre du transformateur à double chemin afin d’améliorer la perception des informations locales. Nous avons évalué le modèle D²Net proposé et mené des études d’ablation sur les jeux de données VoiceBank+DEMAND et WHAMR!. Par ailleurs, nous avons sélectionné trois types de données du jeu de données WHAMR! afin de vérifier la capacité du D²Net aux tâches respectives de débruitage uniquement, de suppression de réverbération uniquement, et de débruitage et suppression de réverbération simultanés. Les résultats expérimentaux montrent que le modèle proposé surpasser les modèles de référence, atteignant des performances supérieures sur les trois tâches — débruitage et suppression de réverbération simultanés, suppression de réverbération uniquement, débruitage uniquement — tout en conservant un nombre réduit de paramètres du réseau.

Benchmarks

BenchmarkMéthodologieMétriques
speech-enhancement-on-demandD²Net
CBAK: 3.18
COVL: 3.92
CSIG: 4.63
PESQ (wb): 3.27
STOI: 96

Construire l'IA avec l'IA

De l'idée au lancement — accélérez votre développement IA avec du co-codage IA gratuit, un environnement prêt à l'emploi et les meilleurs prix GPU.

Co-codage IA
GPU prêts à utiliser
Meilleurs prix
Commencer

Hyper Newsletters

Abonnez-vous à nos dernières mises à jour
Nous vous enverrons les dernières mises à jour de la semaine dans votre boîte de réception à neuf heures chaque lundi matin
Propulsé par MailChimp
D²Net : Un réseau de débruitage et de suppression de réverbération basé sur un encodeur à deux branches et un transformateur à double parcours | Articles de recherche | HyperAI