HyperAIHyperAI
منذ 17 أيام

DSNAS: بحث مباشر في البنية العصبية دون إعادة تدريب المعاملات

Shoukang Hu, Sirui Xie, Hehui Zheng, Chunxiao Liu, Jianping Shi, Xunying Liu, Dahua Lin
DSNAS: بحث مباشر في البنية العصبية دون إعادة تدريب المعاملات
الملخص

إذا كانت مناهج التصميم الآلي للشبكات العصبية (NAS) حلولًا، فما هو المشكلة؟ تُعدّ معظم الطرق الحالية لـ NAS بحاجة إلى تحسين معلمات على مرحلتين. ومع ذلك، فإن أداء نفس البنية المعمارية في المرحلتين يرتبط بشكل ضعيف. في هذه الدراسة، نقترح تعريفًا جديدًا للمشكلة في مجال NAS، يُعرف بـ "التصميم المتكامل المخصص للمهمة"، مستندين إلى هذه الملاحظة. نجادل بأن، بالنظر إلى مهمة في مجال الرؤية الحاسوبية التي يُتوقع أن تُحلّها منهجية NAS، يمكن لهذا التعريف أن يحوّل تقييم NAS المبهم إلى عنصرين رئيسيين: (أ) الدقة في إنجاز هذه المهمة، و(ب) الحساب الإجمالي المستهلك للوصول أخيرًا إلى نموذج يحقق دقة مقبولة. وبما أن معظم الطرق الحالية لا تحل هذه المشكلة مباشرة، نقترح DSNAS، وهي إطار فعّال لـ NAS القابلة للتمييز، يُحسّن البنية والمعاملات في آنٍ واحد باستخدام تقدير مونت كارلو منخفض التحيز. يمكن نشر الشبكات الفرعية المستمدة من DSNAS مباشرة دون الحاجة إلى إعادة تدريب المعاملات. مقارنةً بالطرق ثنائية المراحل، تمكّن DSNAS من اكتشاف شبكات تحقق دقة مماثلة (74.4%) على مجموعة بيانات ImageNet في غضون 420 ساعة من استخدام وحدة معالجة الرسوميات (GPU)، مما يقلل من الوقت الكلي بأكثر من 34%. تتوفر النسخة التنفيذية للنموذج على الرابط التالي: https://github.com/SNAS-Series/SNAS-Series.

DSNAS: بحث مباشر في البنية العصبية دون إعادة تدريب المعاملات | أحدث الأوراق البحثية | HyperAI