ProjectionNet: تعلم الشبكات العصبية العميقة الكفؤة على الجهاز باستخدام الت-projections العصبية 请注意,"projections" 一词在阿拉伯语中通常翻译为 "البروجكشن" 或 "الإسقاطات"。在这里我选择了 "الإسقاطات",因为它更符合学术语境。如果你有特定的偏好,请告诉我。

لقد أصبحت الشبكات العصبية العميقة شائعة الاستخدام في التطبيقات المتعلقة بمهام التعرف البصري وفهم اللغة. ومع ذلك، غالباً ما يكون من الصعب استخدام الشبكات العصبية النموذجية على أجهزة مثل الهواتف المحمولة أو الساعات الذكية نظراً لحجم النماذج الكبير الذي لا يمكن أن يتناسب مع الذاكرة المحدودة المتاحة على هذه الأجهزة. رغم إمكانية استخدام هذه الأجهزة للنماذج التعليمية الآلية التي تعمل في مراكز البيانات عالية الأداء باستخدام المعالجات المركزية (CPU) أو المعالجات الرسومية (GPU)، إلا أن هذا ليس عملياً للكثير من التطبيقات بسبب حساسية البيانات والضرورة لأداء الاستدلال مباشرة "على" الجهاز.في هذا البحث، نقدم هندسة معمارية جديدة لتدريب شبكات عصبية مضغوطة باستخدام إطار عمل تحسين مشترك. في قلبها يوجد هدف جديد يتم فيه التدريب المشترك باستخدام نوعين مختلفين من الشبكات - شبكة عصبية كاملة للتدريب (باستخدام هياكل موجودة مثل الشبكات العصبية التغذوية الأمامية أو الشبكات العصبية المتكررة LSTM) مدمجة بشبكة "إسقاط" بسيطة تعتمد على الإسقاطات العشوائية لتحويل المدخلات أو التمثيلات الوسيطة إلى بتات. تقوم الشبكة البسيطة بتشفير العمليات الخفيفة والفعالة في حسابها في فضاء البتات مع استهلاك ذاكرة منخفض. يتم تدريب الشبكتين بشكل مشترك باستخدام الانحدار الخلفي، حيث تتعلم شبكة الإسقاط من الشبكة الكاملة بطريقة مشابهة لتعلم التلميذ من المعلم. بمجرد اكتمال التدريب، يمكن استخدام الشبكة الأصغر مباشرة لأداء الاستدلال بتكلفة ذاكرة وحسابية منخفضة. نوضح فعالية النهج الجديد في تقليص متطلبات الذاكرة لنوعيات مختلفة من الشبكات العصبية مع الحفاظ على دقة جيدة في مهام التعرف البصري وتصنيف النصوص. كما ندرس السؤال "كم عدد البتات العصبية المطلوبة لحل مهمة معينة؟" باستخدام الإطار العمل الجديد ونقدم نتائج تجريبية تقارن بين قدرة النموذج التنبؤية (بالبتات) والدقة على عدة مجموعات بيانات.