البحث المعماري العصبي على ImageNet في أربع ساعات باستخدام وحدة معالجة رسومية: منظور مُلهم نظريًا

تم دراسة بحث بنية الشبكة العصبية (NAS) بشكل مكثف بهدف أتمتة اكتشاف الشبكات العصبية الأفضل أداءً. ومع ذلك، تتطلب الدراسات الحالية تدريبًا مكثفًا للشبكة العليا (supernet) أو تقييمًا مكثفًا للبنية، مما يؤدي إلى استهلاك كبير للموارد، وغالبًا ما ينتج عنه انحياز في عملية البحث ناتج عن التدريب المقطوع أو الاعتماد على تقريبات. هل يمكننا اختيار أفضل البنية العصبية دون الحاجة إلى أي تدريب، وبهذا نقلل بشكل كبير من تكلفة البحث؟ نقدم إجابة إيجابية من خلال اقتراح إطار عمل جديد يُسمى بحث بنية الشبكة العصبية بدون تدريب (TE-NAS). يصنف TE-NAS البنى العصبية من خلال تحليل طيف نواة المماس العصبي (NTK) وعدد المناطق الخطية في فضاء المدخلات. ويُستمد كلا المقياسين من التطورات النظرية الحديثة في الشبكات العميقة، ويمكن حسابهما دون الحاجة إلى أي تدريب أو أي تسميات (Labels). نوضح أن: (1) يشير هذان المقياسان إلى قابلية التدريب والقدرة التعبيرية للشبكة العصبية؛ (2) يرتبطان بشكل قوي بدقة الشبكة في الاختبار. وبالإضافة إلى ذلك، صممنا آلية NAS تعتمد على التقليم (pruning) لتحقيق توازن أكثر مرونة وتفوّقًا بين قابلية التدريب والقدرة التعبيرية أثناء عملية البحث. في فراغات البحث NAS-Bench-201 وDARTS، أتمّ TE-NAS عملية بحث عالية الجودة، لكنه استهلك فقط 0.5 و4 ساعات GPU باستخدام بطاقة 1080Ti واحدة على بيانات CIFAR-10 وImageNet على التوالي. نأمل أن يُحفّز عملنا مزيدًا من المحاولات في ربط النتائج النظرية للشبكات العميقة بالتأثير العملي في تطبيقات NAS الحقيقية. يمكن الوصول إلى الكود من خلال: https://github.com/VITA-Group/TENAS.