TS-SEP: Gemeinsame Diarisation und Separation bedingt auf geschätzte Sprecher-Embeddings

Da die Diarisierung und die Quellentrennung von Sitzungsdaten eng verwandte Aufgaben sind, schlagen wir hier einen Ansatz vor, um beide Ziele gemeinsam zu erfüllen. Der Ansatz baut auf der Ziel-Sprecher-Sprachaktivitätsdetektion (TS-VAD)-Diarisierungs-Methode auf, die davon ausgeht, dass zunächst Sprecher-Embeddings verfügbar sind. Wir ersetzen das finale kombinierte Sprecheraktivitäts-Schätzungsnetzwerk der TS-VAD durch ein Netzwerk, das Sprecheraktivitäts-Schätzungen mit zeitfrequenzauflösender Genauigkeit erzeugt. Diese dienen als Masken zur Quellenausgabe, entweder mittels Maskierung oder mittels Beamforming. Die Methode ist sowohl für ein- als auch mehrkanalige Eingaben anwendbar und erreicht in beiden Fällen eine neue State-of-the-Art-Genauigkeit (Word Error Rate, WER) bei der Erkennungsaufgabe auf dem LibriCSS-Sitzungsdatensatz. Zudem berechnen wir sowohl sprecherbewusste als auch sprecherunabhängige WERs, um den Beitrag der Diarisierungsfehler zur Gesamtleistung der WER zu isolieren.