العَرَبِيَةُ البَسِيطَةُ: تيمبورال فيلم: التقاط الارتباطات الطويلة المدى في التسلسلات باستخدام التعديلات حسب الخصائص

تعلم التمثيلات التي تلتقط الارتباطات طويلة المدى في المدخلات التسلسلية -- بما في ذلك النص، الصوت، والبيانات الجينومية -- هو مشكلة رئيسية في التعلم العميق. تلتقط نماذج التحويل التقديمي (feed-forward) القائمة على التجميع (convolution) فقط تفاعلات الخصائص ضمن حقول استقبال محددة، بينما يمكن أن تكون الهياكل المتكررة (recurrent architectures) بطيئة ومعقدة التدريب بسبب انخفاض التدرجات (vanishing gradients). هنا، نقترح تعديل الخصائص الزمني خطيًا حسب المجموعة (Temporal Feature-Wise Linear Modulation - TFiLM) -- وهو مكون هيكلي جديد مستوحى من التعديل الدُفعة المتكيف (adaptive batch normalization) وامتداداته -- يستخدم شبكة عصبية متكررة لتعديل تنشيطات نموذج التجميع. يوسع هذا النهج مجال الاستقبال للنماذج التسلسلية القائمة على التجميع مع أدنى تكلفة حوسبة. بشكل تجريبي، نجد أن TFiLM يحسن بشكل كبير سرعة التعلم ودقة النتائج للشبكات العصبية التقديمية في مجموعة متنوعة من مهمات التعلم الإنتاجي والتفرقي، بما في ذلك تصنيف النص وتحسين دقة الصوت الفائق.