البحث عن البنية العصبية أحادية المثال من خلال الشبكة النموذجية ذات التقييم الذاتي

تهدف بحوث بنية الشبكة العصبية (NAS) إلى أتمتة عملية البحث عن البنية بدلاً من التصميم اليدوي. وعلى الرغم من أن الطرق الحديثة لـ NAS تُكمل عملية البحث خلال أيام، فإن التدريب الطويل ما زال ضرورياً لكل مرشح بنية معين لاستخلاص المعاملات اللازمة لتقييمه بدقة. مؤخراً، تم اقتراح أساليب NAS "واحدة التمرين" (one-shot NAS) لتقليل بشكل كبير عملية التدريب المتعبة من خلال مشاركة المعاملات بين المرشحين. وبهذه الطريقة، يمكن استخراج المعاملات الخاصة بكل مرشح مباشرة من المعاملات المشتركة بدلاً من تدريبها من الصفر. ومع ذلك، لا تمتلك هذه الأساليب أي معرفة حول أي مرشح سيكون أفضل حتى يتم التقييم، مما يؤدي إلى اختيار عشوائي للمرشحين للتحقق، ويُعتبر المرشح الأفضل هو المرشح الأول (top-1). في هذه الورقة، نقترح شبكة نموذج ذاتية التقييم (SETN) لتحسين جودة المرشحين المختارة للتحقق، بحيث يكون من المرجح تغطية المرشحين التنافسيين. تتكون SETN من مكونين: (1) مُقيّم (evaluator)، يتعلم تحديد احتمالية كل بنية فردية أن تحقق خسارة تحقق أقل. وبذلك يمكن اختيار المرشحين للتحقق بناءً على هذا المُقيّم. (2) شبكة نموذجية (template network)، تُشارك المعاملات بين جميع المرشحين لتقليل تكلفة التدريب للمشروعات المولدة. وفي التجارب، حققت البنية التي تم اكتشافها بواسطة SETN أداءً متفوقاً على معايير CIFAR وImageNet ضمن تكاليف حسابية مماثلة. تم إتاحة الكود بشكل عام على GitHub: https://github.com/D-X-Y/AutoDL-Projects.