HyperAIHyperAI
منذ 19 أيام

$α$ DARTS مرة أخرى: تحسين البحث المعماري القابل للتفاضل من خلال نمذجة الصور المُقنعة

Bicheng Guo, Shuxuan Guo, Miaojing Shi, Peng Chen, Shibo He, Jiming Chen, Kaicheng Yu
$α$ DARTS مرة أخرى: تحسين البحث المعماري القابل للتفاضل من خلال نمذجة الصور المُقنعة
الملخص

لقد أصبح البحث المعماري القابل للتفاضل (DARTS) الاتجاه الرئيسي في التعلم الآلي التلقائي. منذ اكتشاف أن النسخة الأصلية من DARTS ستتلاشى بالضرورة نحو هياكل ضعيفة، عملت الدراسات الحديثة على تخفيف هذه المشكلة إما من خلال تصميم تقنيات مبنية على قواعد لاختيار الهياكل، أو من خلال دمج تقنيات ت régularisation معقدة، مما أدى إلى التخلي عن البساطة الأصلية لـ DARTS التي تعتمد على اختيار الهياكل بناءً على القيمة العددية الأكبر للبارامتر $α$. بالإضافة إلى ذلك، لاحظنا أن جميع المحاولات السابقة تعتمد فقط على التسميات التصنيفية، وبالتالي تتعلم معلومات ذات نمط واحد فقط، مما يحد من قدرة الشبكة المشتركة على التمثيل. ولحل هذه المشكلة، نقترح إدخال معلومات معنوية إضافية من خلال صياغة نهج لإعادة استرداد القطع (patch recovery). وبشكل محدد، نستفيد من الاتجاه الحديث في نمذجة الصور المُغطاة (masked image modeling)، دون التخلي عن التوجيه الناتج عن المهام النهائية أثناء مرحلة البحث. ويتفوق منهجنا على جميع النسخ السابقة من DARTS، ويحقق نتائج متقدمة للغاية على مجموعات بيانات CIFAR-10 وCIFAR-100 وImageNet، دون الحاجة إلى استراتيجيات يدوية معقدة التصميم.

$α$ DARTS مرة أخرى: تحسين البحث المعماري القابل للتفاضل من خلال نمذجة الصور المُقنعة | أحدث الأوراق البحثية | HyperAI