D²Net : Un réseau de débruitage et de suppression de réverbération basé sur un encodeur à deux branches et un transformateur à double parcours

Le débruitage et la suppression de réverbération simultanés pour un signal vocal mixte mono-canal dans un environnement acoustique complexe constituent une tâche particulièrement exigeante. Dans cet article, nous proposons un réseau de débruitage et de suppression de réverbération appelé D²Net, dans lequel un encodeur à deux branches (TBE, Two-Branch Encoder) est conçu pour extraire et fusionner sélectivement des caractéristiques à différentes granularités. En outre, nous avons conçu un transformateur à double chemin global-local (GLDPT), qui intègre l’attention de synthèse dense locale (LDSA, Local Dense Synthesizer Attention) dans le cadre du transformateur à double chemin afin d’améliorer la perception des informations locales. Nous avons évalué le modèle D²Net proposé et mené des études d’ablation sur les jeux de données VoiceBank+DEMAND et WHAMR!. Par ailleurs, nous avons sélectionné trois types de données du jeu de données WHAMR! afin de vérifier la capacité du D²Net aux tâches respectives de débruitage uniquement, de suppression de réverbération uniquement, et de débruitage et suppression de réverbération simultanés. Les résultats expérimentaux montrent que le modèle proposé surpasser les modèles de référence, atteignant des performances supérieures sur les trois tâches — débruitage et suppression de réverbération simultanés, suppression de réverbération uniquement, débruitage uniquement — tout en conservant un nombre réduit de paramètres du réseau.