الانتباه الذاتي لتحسين دقة الصوت

العمليات التلافيفية تعمل فقط على نطاق محلي، مما يجعلها غير قادرة على نمذجة التفاعلات العالمية.ومع ذلك، فإن الانتباه الذاتي قادر على تعلم تمثيلات تلتقط الارتباطات طويلة المدى في التسلسلات.نقترح هندسة شبكة للصوت ذي الدقة الفائقة تجمع بين العمليات التلافيفية والانتباه الذاتي.التعديل الخطي الوظيفي القائم على الانتباه (AFiLM) يستخدم آلية الانتباه الذاتي بدلاً من الشبكات العصبية المتكررة لتعديل تنشيطات النموذج التلافيفي.تظهر التجارب الواسعة أن نموذجنا يتفوق على النماذج الموجودة في المعايير القياسية.بالإضافة إلى ذلك، فإنه يسمح بمزيد من التوازي مما يؤدي إلى تدريب أسرع بكثير.