النشاط النادر والاتصال النادر في التعلم الإشرافي

الندرة هي منظم مفيد للتعلم في مجموعة واسعة من التطبيقات، وبشكل خاص في الشبكات العصبية. يقترح هذا البحث نموذجًا يستهدف مهام التصنيف، حيث يتم استخدام النشاط النادر والاتصال النادر لتعزيز قدرات التصنيف. الأداة المستخدمة لتحقيق ذلك هي مشغل إسقاط يفرض الندرة، والذي يجد أقرب متجه بندرة محددة مسبقًا لأي متجه معطى. في الجزء النظري من هذا البحث، تم تطوير نظرية شاملة لمثل هذا الإسقاط. وفي الختام، تم إثبات أن الإسقاط قابل للمعايرة تقريبًا في كل مكان ويمكن تنفيذه كدالة انتقال عصبية سلسة. وبالتالي، يمكن ضبط النموذج بأكمله من البداية إلى النهاية باستخدام طرق تعتمد على التدرج. أظهرت التجارب التي أجريت على قاعدة بيانات MNIST للأرقام المكتوبة بخط اليد أن أداء التصنيف يمكن تعزيزه عن طريق النشاط النادر أو الاتصال النادر. ومع الجمع بين كليهما، يمكن أن يكون الأداء أفضل بكثير مقارنة بالنهج التقليدية غير النادرة.