DeFT-AN: Dichtes Frequenz-Zeit-Aufmerksamkeitsnetzwerk für Mehrkanal-Sprachverbesserung

In dieser Studie schlagen wir ein dichtes Frequenz-Zeit-Aufmerksamkeitsnetzwerk (DeFT-AN) für die Mehrkanal-Sprachverbesserung vor. DeFT-AN ist ein Maskenschätzungsnetzwerk, das ein komplexes spektrales Maskierungsmuster vorhersagt, um Rauschen und Hall in der Kurzzeit-Fourier-Transformation (Kurzzeit-Fourier-Transformierte, STFT) eines Eingangssignals zu unterdrücken. Das vorgeschlagene Maskenschätzungsnetzwerk integriert drei verschiedene Arten von Blöcken zur Aggregation von Informationen in den räumlichen, spektralen und zeitlichen Dimensionen. Es nutzt einen spektralen Transformer mit einem modifizierten Feed-Forward-Netzwerk sowie einen zeitlichen Conformer mit sequentiellen gedehnten Faltungen. Die Verwendung dichter Blöcke und Transformatoren, die sich auf die drei verschiedenen Eigenschaften von Audiosignalen konzentrieren, ermöglicht eine umfassendere Verbesserung in geräuschten und halligen Umgebungen. Die bemerkenswerte Leistung des DeFT-AN im Vergleich zu den neuesten Mehrkanal-Modellen wird anhand zweier beliebter geräuschiger und halliger Datensätze hinsichtlich verschiedener Metriken für Sprachqualität und -verständlichkeit demonstriert.