هياكل قابلة للعكس لشبكات عصبية متبقية ذات عمق تعسفي

في الآونة الأخيرة، تم تطبيق الشبكات العصبية المتبقية العميقة بنجاح في العديد من مهام رؤية الحاسوب ومعالجة اللغة الطبيعية، مما أدى إلى تحسين الأداء الرائد بفضل الهياكل الأعمق والأوسع. في هذا العمل، نقوم بتفسير الشبكات العصبية المتبقية العميقة على أنها معادلات تفاضلية عادية (ODEs)، وهي موضوع دراسة طويلة في الرياضيات والفيزياء وقد حققت نجاحًا نظريًا وتطبيقيًا غنيًا. من خلال هذا التفسير، قمنا بتطوير إطار نظري حول استقرار وإعادة قابلية الشبكات العصبية العميقة، واستخدمنا هذا الإطار لاشتقاق ثلاثة هياكل للشبكات العصبية القابلة لإعادة التتبع يمكن أن تكون عميقة بشكل تعسفي من الناحية النظرية. خاصية إعادة القابلية تسمح بتنفيذ فعال يستهلك الذاكرة بشكل أقل، حيث لا يتعين تخزين التنشيطات لأغلب الطبقات المخفية. بالإضافة إلى الاستقرار في هياكلنا، فإن هذا يمكّن من تدريب شبكات أعمق باستخدام موارد حاسوبية متواضعة فقط. نقدم تحليلات نظرية ونتائج تجريبية. تظهر النتائج التجريبية فعالية هياكلنا مقابل عدة أسس قوية على مجموعات بيانات CIFAR-10 وCIFAR-100 وSTL-10 بأداء رائد أو مكافئ للأداء الرائد الحالي. علاوة على ذلك، نوضح أن هياكلنا تعطي نتائج أفضل عند التدريب باستخدام كمية أقل من البيانات التدريبية.