نحو بناء أنظمة تحويل النص إلى كلام للمليار القادم من المستخدمين

نظام التحويل من النص إلى الكلام القائم على التعلم العميق (TTS) قد تطور بسرعة مع التقدم في هياكل النماذج، وطرق التدريب، والعمومية عبر المتحدثين واللغات. ومع ذلك، لم يتم دراسة هذه التطورات بشكل شامل لاصطناع الكلام باللغات الهندية. يعتبر هذا النوع من الدراسة مكلفاً من الناحية الحسابية نظراً لكمية اللغات الهندية ومتنوعيتها، وعدم توفر الموارد بشكل كافٍ نسبياً، بالإضافة إلى مجموعة متنوعة من التطورات في TTS العصبي التي لم تخضع بعد للتجربة. في هذا البحث، نقيم اختيار النماذج الصوتية، والمولدات الصوتية (vocoders)، ووظائف الخسارة الإضافية، وجدوليات التدريب، ومتنوعية المتحدثين واللغات للغات الدراجدية (Dravidian) والهندو-آرية (Indo-Aryan). بناءً على هذا، حددنا أن النماذج الأحادية اللغة باستخدام FastPitch و HiFi-GAN V1 والتي تم تدريبها بشكل مشترك على المتحدثين الذكور والإناث هي الأفضل أداءً. باستخدام هذا الإعداد، قمنا بتدريب وتقييم نماذج TTS لـ 13 لغة ووجدنا أن نماذجنا تحقق تحسيناً كبيراً على النماذج الموجودة في جميع اللغات حسب ما يقاس بدرجات الرأي المتوسطة. وقد جعلنا جميع النماذج متاحة المصدر على منصة بهاشيني (Bhashini).