تنوع وعمق في نماذج التوجيه حسب المثال

نموذج التوجيه، وهو شكل من أشكال الحساب الشرطي حيث يتم توجيه الأمثلة عبر مجموعة جزئية من المكونات في شبكة أكبر، أظهر نتائج واعدة في الدراسات الحديثة. وبشكل مفاجئ، تعاني نماذج التوجيه حتى الآن من خصائص مهمة، مثل التنوّع المعماري وعدد كبير من قرارات التوجيه. ويساهم كل من التنوّع المعماري وعمق التوجيه في تعزيز القدرة التعبيرية للشبكة الموجهة. في هذا العمل، نعالج كلا العيوب المذكورة. نناقش أهمية التنوّع المعماري في نماذج التوجيه، ونُفسّر التنازلات بين السعة والتحسين عند زيادة عمق التوجيه. وفي تجاربنا، وجدنا أن إضافة التنوّع المعماري إلى نماذج التوجيه تُحسّن الأداء بشكل كبير، حيث تقلّل معدلات الخطأ بالنسبة لنموذج قوي من baseline بنسبة 35٪ في بيئة Omniglot. ومع ذلك، عند توسيع عمق التوجيه، نلاحظ أن التقنيات الحديثة للتحديث تواجه صعوبات في التحسين. ونختتم بمناقشة النتائج الإيجابية والسلبية، ونُقدّم اتجاهات محتملة للبحث المستقبلي.