Command Palette
Search for a command to run...
التعلم التسلسلي التسلسلي التسلسلي مع نمذجة التدفقات المتأخرة
التعلم التسلسلي التسلسلي التسلسلي مع نمذجة التدفقات المتأخرة
Neil Zeghidour Eugene Kharitonov Manu Orsini Václav Volhejn Gabriel de Marmiesse Edouard Grave Patrick Pérez Laurent Mazaré Alexandre Défossez
الملخص
نُقدِّم نموذج التدفق المُؤَجَّل (DSM)، وهو صيغة مرنة لتعلم التسلسل المتعدد الوسائط من التسلسل إلى التسلسل في البيئة المتدفقة. غالبًا ما يُصاغ توليد التسلسل إلى التسلسل بشكل غير مباشر، بحيث يستهلك النموذج التسلسل الكامل المدخل قبل إنتاج أول خطوة زمنية من الإخراج. أما التعلم التسلسلي المتدفق، فيعتمد بدلاً من ذلك على تعلُّم سياسة لاختيار متى يجب التقدم في تدفق المدخلات أو كتابة الناتج في تدفق الإخراج. في المقابل، يُعدّ DSM نموذجًا يُعالج تدفقات مُتماثلة زمنيًا باستخدام نموذج لغة يعتمد فقط على المُفكِّك (decoder-only). وبتحريك عملية التماثل الزمني إلى مرحلة ما قبل المعالجة، وإدخال فترات تأخير مناسبة بين التدفقات، يتيح DSM استنتاجًا متدفقًا للتسلسلات الإخراجية بأي طول، من أي توليفة مدخلات، مما يجعله قابلاً للتطبيق في العديد من مسائل التعلم من التسلسل إلى التسلسل. وبشكل خاص، عند توفر تدفقي نصوص وصوت، فإن معالجة الكلام التلقائية (ASR) تتوافق مع تأخير تدفق النص، بينما التأخير العكسي يُنتج نموذجًا للتحويل من النص إلى الصوت (TTS). أجرينا تجارب واسعة على هاتين المهمتين الرئيسيتين في التعلم من التسلسل إلى التسلسل، وبيّنا أن DSM يحقق أداءً من الدرجة الأولى من حيث الدقة والتأخير، مع دعمه للتسلسلات الطويلة بشكل غير محدود، مُنافسًا حتى النماذج غير المباشرة في الأداء. يمكن الاطلاع على الكود والعينات والتطبيقات التوضيحية عبر الرابط التالي: https://...