SpeechBlender: إطار تعزيز الكلام لإنشاء بيانات النطق الخاطئ

نقص البيانات الصوتية المصنفة للغة الثانية (L2) هو تحدي رئيسي في تصميم نماذج كشف الإعراب الخاطئ. نقدم SpeechBlender - وهو خط أنابيب تحسين البيانات الدقيق لتقديم أخطاء الإعراب لتخطي نقص هذه البيانات. يستخدم SpeechBlender مجموعة متنوعة من الأقنعة لاستهداف مناطق مختلفة من الوحدات الصوتية، ويستخدم عوامل المزج لتحقيق التداخل الخطي للإشارات الصوتية الخام أثناء تحسين النطق. تسهل الأقنعة عملية دمج الإشارات بشكل سلس، مما يولد عينات أكثر فعالية من طريقة `قطع/لصق' (Cut/Paste). حققت تقنيتنا المقترحة أفضل النتائج على مستوى الحروف الصوتية باستخدام مجموعة بيانات Speechocean762، مع زيادة بنسبة 2.0% في معامل ارتباط بيرسون (PCC) مقارنة بأفضل التقنيات السابقة [1]. بالإضافة إلى ذلك، أظهرنا تحسيناً بنسبة 5.0% على مستوى الحروف الصوتية مقارنة بالنموذج الأساسي الخاص بنا. كما لاحظنا زيادة بنسبة 4.6% في مؤشر F1 باستخدام مجموعة اختبار العربية AraVoiceL2.