البحث العشوائي والقابلية للتكرار في البحث عن هندسة الشبكات العصبية

البحث عن الهندسة العصبية (Neural Architecture Search - NAS) هو اتجاه بحثي واعد يحمل في طياته القدرة على استبدال الشبكات المصممة من قبل الخبراء بهندسات متعلمة ومحددة للوظيفة. في هذا العمل، من أجل المساعدة في تأكيد النتائج التجريبية في هذا المجال، نقترح خطوط أساس جديدة لـ NAS تستند إلى الملاحظات التالية: (i) أن البحث عن الهندسة العصبية هو مشكلة تحسين متخصصة للمعلمات الفائقة؛ و (ii) أن البحث العشوائي هو خط أساس تنافسي لتحسين المعلمات الفائقة. باستغلال هذه الملاحظات، قمنا بتقييم كل من البحث العشوائي مع الإيقاف المبكر والخوارزمية الجديدة للبحث العشوائي مع المشاركة الوزنية على معيارين قياسيين لـ NAS --- PTB و CIFAR-10. أظهرت نتائجنا أن البحث العشوائي مع الإيقاف المبكر هو خط أساس تنافسي لـ NAS، مثل أنه يؤدي بشكل لا يقل جودة عن ENAS، وهي إحدى أفضل طرق NAS، في كلا المعيارين. بالإضافة إلى ذلك، حقق البحث العشوائي مع المشاركة الوزنية نتائج أفضل من البحث العشوائي مع الإيقاف المبكر، حيث حصل على نتيجة رائدة في مجال البحوث الحالية على PTB وعلى نتيجة تنافسية للغاية على CIFAR-10. أخيرًا، نستكشف المشكلات القائمة المتعلقة بإعادة إنتاج النتائج المنشورة لـ NAS. نلاحظ عدم وجود المواد المصدر اللازمة لإعادة إنتاج هذه النتائج بدقة، ونناقش أيضًا ثبات النتائج المنشورة بالنظر إلى مصادر التباين المختلفة في تجارب NAS. وفي سياق ذي صلة، نوفر جميع المعلومات (الكود، بذور العشوائية، الوثائق) اللازمة لإعادة إنتاج نتائجنا بدقة، ونقدم نتائج بحثنا العشوائي مع المشاركة الوزنية لكل معيار بعدة تشغيلات.