MANNER: Multi-view Attention Network zur Rauschunterdrückung

Im Bereich der Sprachverbesserung stoßen zeitbereichsbasierte Methoden auf Schwierigkeiten, sowohl hohe Leistungsfähigkeit als auch hohe Effizienz zu erreichen. In jüngster Zeit wurden Dual-Path-Modelle zur Darstellung langer sequenzieller Merkmale eingesetzt, weisen jedoch weiterhin begrenzte Repräsentationsfähigkeit und schlechte Speichereffizienz auf. In dieser Studie stellen wir den Multi-View-Attention-Netzwerk für Noise-Erasure (MANNER) vor, bestehend aus einem convolutionalen Encoder-Decoder mit einem Multi-View-Attention-Block, der auf zeitbereichsbasierten Signalen angewendet wird. MANNER extrahiert effizient drei unterschiedliche Darstellungen aus geräuschbehafteten Sprachsignalen und schätzt hochwertige, geräuschfreie Sprache ab. Wir haben MANNER anhand von fünf objektiven Sprachqualitätsmetriken auf dem VoiceBank-DEMAND-Datensatz evaluiert. Die experimentellen Ergebnisse zeigen, dass MANNER eine state-of-the-art-Leistung erzielt, während gleichzeitig geräuschbehaftete Sprache effizient verarbeitet wird.