MSR-DARTS: الحد الأدنى من الرتبة المستقرة للبحث المعماري القابل للتفاضل

في بحث البنية العصبية (NAS)، لاقت طريقة البحث القابل للتفاضل للبنية (DARTS) اهتمامًا كبيرًا مؤخرًا بفضل كفاءتها العالية. تعتمد هذه الطريقة على تعريف شبكة مُفرطة التوسيع باستخدام حواف مختلطة، حيث تمثل كل حافة جميع 후ولات المرشحة للعمليات، وتحسّن بشكل مشترك أوزان الشبكة وبنية الشبكة بطريقة متكررة. ومع ذلك، فإن هذه الطريقة تُفضّل نموذجًا يتم فيه تقارب الأوزان بشكل أسرع من غيره، ويُعدّ هذا النموذج الذي يحقق أسرع تقارب غالبًا ما يؤدي إلى التعلّم الزائد (overfitting). وبالتالي، لا يمكن دائمًا تحقيق تعميم جيد للنموذج الناتج. وللتغلب على هذه المشكلة، نقترح طريقة تُسمى DARTS ذات الرتبة المستقرة الدنيا (MSR-DARTS)، والتي تهدف إلى العثور على نموذج يتمتع بأقل خطأ في التعميم من خلال استبدال عملية تحسين البنية بعملية اختيار تُعتمد على معيار الرتبة المستقرة الدنيا. بشكل محدد، يُمثّل كل عملية تصفية (convolution) بواسطة مصفوفة، ويختار MSR-DARTS العملية ذات الرتبة المستقرة الأصغر. تم تقييم MSR-DARTS على مجموعتي بيانات CIFAR-10 وImageNet، حيث حقق أداءً بنسبة خطأ 2.54% باستخدام 4.0 مليون معلمة خلال 0.3 يوم من استخدام وحدة معالجة الرسومات (GPU)، وحقق معدل خطأ أولي (top-1 error rate) قدره 23.9% على ImageNet. يتوفر الكود الرسمي على الرابط: https://github.com/mtaecchhi/msrdarts.git.