Stabilisierung der Label-Zuweisung für die Sprachtrennung durch selbstüberwachtes Vortrainieren

Die Sprachtrennung ist bereits gut entwickelt, wobei insbesondere der sehr erfolgreiche Ansatz des Permutation-Invariant Training (PIT) hervorzuheben ist. Dennoch stellt das häufige Umschalten der Label-Zuweisung während des PIT-Trainings ein Problem dar, wenn eine schnellere Konvergenzgeschwindigkeit und eine höhere erreichbare Leistung angestrebt werden. In diesem Artikel schlagen wir vor, eine selbstüberwachte Vortraining-Phase durchzuführen, um die Label-Zuweisung beim Training von Sprachtrennmodellen zu stabilisieren. Experimente mit mehreren Arten selbstüberwachter Ansätze, mehreren typischen Sprachtrennmodellen und zwei unterschiedlichen Datensätzen zeigten, dass bei geeigneter Auswahl eines selbstüberwachten Ansatzes erhebliche Verbesserungen erzielt werden können.