SpeechBlender: Sprachverstärkungsrahmen für die Generierung von Fehlaussprachendaten

Der Mangel an etikettierten Daten für die Zweitsprache (L2) stellt eine wesentliche Herausforderung bei der Entwicklung von Modellen zur Fehlaussprachenerkennung dar. Wir stellen SpeechBlender vor – einen feingranularen Datenaugmentationspipeline zur Generierung von Fehlaussprachen, um diese Datenknappheit zu überwinden. SpeechBlender nutzt verschiedene Masken, um unterschiedliche Bereiche phonetischer Einheiten zu adressieren, und verwendet Mischfaktoren, um die Rohsprachsignale linear zu interpolieren, während die Aussprache erweitert wird. Die Masken ermöglichen eine reibungslose Kombination der Signale und erzeugen effektivere Stichproben als die "Cut/Paste"-Methode. Unsere vorgeschlagene Technik erreicht Stand-der-Technik-Ergebnisse auf ASR-abhängigen Modellen zur Fehlaussprachenerkennung auf Phonemebene mit dem Datensatz Speechocean762, wobei sich der Pearson-Korrelationskoeffizient (PCC) gegenüber dem bisherigen Stand der Technik [1] um 2,0 % verbessert hat. Zudem konnten wir im Vergleich zu unserer Baseline eine Steigerung des Phonemebene-Fehlaussprachenerkennungsvermögens um 5,0 % nachweisen. Bei der arabischen Testdatensammlung AraVoiceL2 beobachteten wir zudem eine Erhöhung des F1-Scores um 4,6 %.