HyperAIHyperAI

Command Palette

Search for a command to run...

FullSubNet+: Channel Attention FullSubNet mit komplexen Spektrogrammen für Sprachverbesserung

Jun Chen Zilin Wang Deyi Tuo Zhiyong Wu Shiyin Kang Helen Meng

Zusammenfassung

Bisher vorgeschlagene FullSubNet hat hervorragende Leistung im Deep Noise Suppression (DNS)-Wettbewerb erzielt und erhebliche Aufmerksamkeit erweckt. Dennoch treten weiterhin Probleme wie eine Eingabe-Ausgabe-Abweichung sowie eine grobe Behandlung von Frequenzbändern auf. In diesem Paper stellen wir einen erweiterten, einkanaligen Echtzeit-Sprachverbesserungsrahmen namens FullSubNet+ vor, der folgende bedeutende Verbesserungen umfasst. Erstens entwickeln wir ein leichtgewichtiges, mehrskaliges zeitlich sensitives Kanal-Attention-Modul (MulCA), das mehrskalige Faltung und ein Kanal-Attention-Mechanismus nutzt, um dem Netzwerk zu helfen, sich auf diskriminativere Frequenzbänder zur Rauschunterdrückung zu konzentrieren. Zweitens nutzen wir zur optimalen Ausnutzung der Phaseninformation in geräuschbehafteten Sprachsignalen alle Spektrogramme – sowohl die Magnituden-, Real- als auch Imaginärteile – als Eingaben. Darüber hinaus ersetzen wir die langen kurzen Gedächtnis-Schichten (LSTM) im ursprünglichen Vollband-Modell durch gestapelte zeitliche Faltungsnetzwerk-Blöcke (TCN), um ein effizienteres Vollband-Modul namens Full-Band Extractor zu entwerfen. Die experimentellen Ergebnisse auf dem DNS-Challenge-Datensatz zeigen die überlegene Leistung unseres FullSubNet+, das die derzeit beste (SOTA) Leistung erreicht und andere bestehende Ansätze zur Sprachverbesserung übertrifft.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp