منذ 2 أشهر
DARTS: البحث عن الهندسة المعمارية القابل للتفاضل
Hanxiao Liu; Karen Simonyan; Yiming Yang

الملخص
يتناول هذا البحث تحدي قابلية التوسع في بحث العمارة (architecture search) من خلال صياغة المهمة بطريقة قابلة للتفاضل. على عكس النهج التقليدية التي تطبق التطور أو التعلم التعزيزي على فضاء بحث متقطع وغير قابل للتفاضل، تعتمد طريقتنا على الاسترخاء المستمر لتمثيل العمارة، مما يسمح بالبحث الفعال عن العمارة باستخدام نزول التدرج (gradient descent). أظهرت التجارب الواسعة على مجموعات البيانات CIFAR-10 وImageNet وPenn Treebank وWikiText-2 أن خوارزميتنا تتفوق في اكتشاف عمارات تلافيفية عالية الأداء لتصنيف الصور وعمارات متكررة للنمذجة اللغوية، مع كونها أسرع بمراحل من تقنيات غير قابلة للتفاضل الأكثر تقدماً. تم جعل تنفيذنا متاحًا بشكل عام لتسهيل المزيد من البحوث حول خوارزميات بحث العمارة الفعالة.