HyperAIHyperAI
منذ 17 أيام

تحويل أسلوب التحدث في مجال الموجة باستخدام وحدات ذاتية التعلم المنفصلة

Gallil Maimon, Yossi Adi
تحويل أسلوب التحدث في مجال الموجة باستخدام وحدات ذاتية التعلم المنفصلة
الملخص

نقدم DISSC، طريقة جديدة وخفيفة تحوّل إيقاع الصوت وملف النبرة ونبرة الصوت (التيمر) لتسجيل صوتي إلى متحدث مستهدف بطريقة لا تعتمد على النص. على عكس DISSC، تركز معظم أساليب تحويل الصوت (VC) بشكل أساسي على نبرة الصوت، وتجاهل نمط الحديث الفريد للأشخاص (البروزي). تعتمد الطريقة المقترحة على نموذج مُدرّب مسبقًا وذاتي التعلّم لترميز الصوت إلى وحدات منفصلة، مما يجعلها بسيطة وفعّالة وسريعة التدريب. تُدرّس جميع وحدات التحويل فقط على مهام إعادة البناء، وبالتالي فهي مناسبة لتحويل الصوت من أي إلى كثير بدون بيانات مزروعة. نقدّم مجموعة من مقاييس التقييم الكمي والكيفي لهذا السياق، ونُظهر تجريبيًا أن DISSC تتفوّق بشكل كبير على النماذج الأساسية التي تم تقييمها. يمكن الوصول إلى الكود والعينات من خلال الرابط: https://pages.cs.huji.ac.il/adiyoss-lab/dissc/.