KNAS: بحث معماري عصبي خضراء

تُعتمد العديد من حلول بحث البنية العصبية (NAS) الحالية على التدريب في المهام التطبيقية لتقييم البنية، مما يستهلك حجمًا كبيرًا من الحوسبة. وبما أن هذه العمليات الحسابية تُحدث أثرًا كربونيًا كبيرًا، يهدف هذا البحث إلى استكشاف حل NAS "أخضر" (أي صديق للبيئة) يُقيّم البنى دون الحاجة إلى التدريب. بشكل مُباشر، فإن التدرجات الناتجة عن البنية نفسها تُحدد مباشرة نتائج التقارب والعامية (generalization). وهذا يُحفّزنا على اقتراح فرضية "نواة التدرج": يمكن استخدام التدرجات كمُستبدل خشن (coarse-grained proxy) للتدريب في المهام التطبيقية لتقييم الشبكات التي تُبدأ بقيم عشوائية. لدعم هذه الفرضية، قمنا بتحليل نظري ووجدنا نواة تدرج عملية تُظهر ارتباطًا جيدًا بخسارة التدريب والأداء في التحقق. وفقًا لهذه الفرضية، قمنا بتطوير منهجية جديدة لبحث البنية تعتمد على النواة، تُسمى KNAS. تُظهر التجارب أن KNAS تحقق نتائج تنافسية، وبسرعة تفوق بعشرات أو مئات المرات من النماذج التقليدية التي تعتمد على نمط "التدريب ثم الاختبار" في مهام تصنيف الصور. علاوةً على ذلك، فإن التكلفة المنخفضة جدًا لعملية البحث تُمكّن تطبيقها على نطاق واسع. كما أن الشبكة التي تم اكتشافها تتفوّق على النموذج القوي RoBERTA-large في مهام تصنيف النصوص ذات الحدين. يمكن الوصول إلى الشيفرة المصدرية عبر الرابط: \url{https://github.com/Jingjing-NLP/KNAS}.