منذ 2 أشهر
نموذج الانتباه لاكتشاف الخصائص النطقية
Ievgen Karaulov; Dmytro Tkanov
الملخص
الخصائص الفريدة للجهاز الصوتي، بالإضافة إلى الترقيم الصوتي، تلعب دورًا مهمًا في المهام المتعلقة بالكلام: التدريب على النطق بمساعدة الحاسوب، تحويل النص إلى كلام (TTS)، دراسة آليات إنتاج الكلام، التعرف على الكلام لللغات ذات الموارد المحدودة. حظيت النهج الشاملة للمهام المتعلقة بالكلام باهتمام كبير في السنوات الأخيرة. نقوم بتطبيق بنية الاستماع والانتباه والكتابة (Listen, Attend and Spell - LAS) \cite{Chan-LAS2016} للتعرف على الأصوات في مجموعة تدريب صغيرة، مثل مجموعة TIMIT \cite{TIMIT-1992}. كما نقدم تقنية فك شفرة جديدة تسمح بتدريب كاشفات طرق ومواضع الإصدار الصوتي بشكل شامل باستخدام نماذج الانتباه. نستكشف أيضًا التعرف المشترك على الأصوات وكشف الخصائص الجهرية في إطار التعلم متعدد المهام.