بحث سريع عن هياكل عصبية مدمجة لنموذج التجزئة الدلالية عبر الخلايا المساعدة

تصميم معماريات الشبكات العصبية بشكل آلي ومخصص لمهمة معينة هو طريق واعد للغاية، رغم أنه صعب بطبيعته. بينما تم تحقيق معظم النتائج في هذا المجال على مشاكل تصنيف الصور ونمذجة اللغة، نركز هنا على المهام الكثيفة لكل بكسل، وبشكل خاص على تقسيم الصور الدلالي باستخدام الشبكات التلافيفية الكاملة. بخلاف المجالات المذكورة أعلاه، تتطلب الخيارات التصميمية لشبكة تلافيفية كاملة عدة تغييرات، تبدأ من نوع العمليات التي يجب استخدامها - مثل التلافيف المنتشرة (dilated convolutions) - وتنتهي بحل مشكلة الأمثلية الأكثر صعوبة. في هذا العمل، نحن مهتمون بشكل خاص بالبحث عن معماريات تقسيم عالية الأداء ومدمجة، قادرة على التشغيل الفوري باستخدام موارد محدودة. لتحقيق ذلك، نقوم بتضخيم المعلمات في الشبكة بشكل متعمد خلال فترة التدريب عبر مجموعة من الخلايا المساعدة التي توفر إشارة إشراف وسيطة ويمكن حذفها أثناء مرحلة التقييم. يتم تصميم الخلية المساعدة بواسطة محكم (controller)، وهو شبكة عصبية ذات بنية ثابتة تم تدريبها باستخدام التعلم التعزيزي. أكثر من ذلك، نوضح كيفية البحث بكفاءة عن هذه المعماريات ضمن وقت وموازنات حسابية محدودة. بشكل خاص، نعتمد على استراتيجية تقدمية تقضي بإنهاء تدريب المعماريات غير الواعدة وعدم الاستمرار فيها، وعلى متوسط بولياك مع استخلاص المعرفة لتسرع التقارب. كميًا، في غضون 8 أيام من الحوسبة GPU، يكتشف نهجنا مجموعة من المعماريات التي تؤدي بنفس مستوى أفضل التقنيات الحالية بين النماذج المدمجة في مجال تقسيم الصور الدلالي وتقدير الوضع والتنبؤ بالعمق. سيتم توفير الرمز البرمجي هنا: https://github.com/drsleep/nas-segm-pytorch