PRE-NAS: بحث معماري عصبي تطوري مدعوم بال Predictor

يهدف البحث في البنية العصبية (NAS) إلى أتمتة هندسة البنية في الشبكات العصبية. وغالبًا ما يتطلب ذلك حملًا حسابيًا عالٍ لتقييم عدد كبير من الشبكات المرشحة من بين جميع الشبكات الممكنة ضمن فضاء البحث أثناء عملية البحث. ويمكن أن يخفف التنبؤ بأداء الشبكات من هذا الحمل الحسابي العالي من خلال تقليل الحاجة لتقييم كل شبكة مرشحة. وعادةً ما يتطلب تطوير مثل هذا المُنبّئ عددًا كبيرًا من البنى المُقيّمة، والذي قد يكون من الصعب الحصول عليه. ونواجه هذا التحدي من خلال اقتراح استراتيجية جديدة لـ NAS تعتمد على التطور، تُسمى PRE-NAS (البحث العصبي المدعوم بالتنبؤ)، التي يمكنها الأداء الجيد حتى مع عدد ضئيل جدًا من البنى المُقيّمة. تعتمد PRE-NAS على استراتيجيات تطورية جديدة وتحسّن من انتقال الأوزان عالية الدقة عبر الأجيال. على عكس الاستراتيجيات من نوع "واحدة فقط" (one-shot)، التي قد تعاني من انحياز في التقييم بسبب مشاركة الأوزان، فإن المرشحات الناتجة في PRE-NAS تكون متجانسة من حيث البنية، مما يتجنب هذا الانحياز ويؤدي إلى تنبؤات أكثر دقة. أظهرت تجارب واسعة على فضاءي البحث NAS-Bench-201 وDARTS أن PRE-NAS تتفوق على أحدث أساليب NAS. وباستخدام بطاقة رسوميات واحدة فقط لمدة 0.6 يوم، تمكنت PRE-NAS من اكتشاف بنية تنافسية، حققت معدلات أخطاء تجريبية قدرها 2.40% و24% على CIFAR-10 وImageNet على التوالي.