HyperAIHyperAI

Command Palette

Search for a command to run...

استكشاف هندسة الخسارة في البحث عن البنية العصبية

Colin White Sam Nolen Yash Savani

الملخص

شهدت بحوث بنية الشبكات العصبية (NAS) ارتفاعًا حادًا في الاهتمام خلال السنوات الأخيرة. تتكوّن العديد من خوارزميات NAS من عملية البحث عبر فضاء هندسيات معمارية من خلال اختيار تكراري لهندسة معينة، ثم تقييم أدائها عبر تدريبها، واستخدام جميع التقييمات السابقة لاتخاذ القرار التالي. يُعدّ مرحلة التقييم هذه مشوّشة، إذ تختلف الدقة النهائية وفقًا للتهيئة العشوائية للوزن. ركّزت الأبحاث السابقة على تطوير خوارزميات بحث جديدة للتعامل مع هذا الضجيج، بدلًا من قياس أو فهم مدى الضجيج في تقييمات الهياكل المعمارية. في هذا العمل، نُظهر أن (1) أبسط خوارزمية للصعود التدريجي (hill-climbing) تمثل قاعدة قوية لـ NAS، و(2) عند تقليل الضجيج في مجموعات البيانات القياسية الشهيرة لـ NAS إلى أدنى حد ممكن، فإن خوارزمية الصعود التدريجي تتفوّق على العديد من الخوارزميات المتطورة الرائدة حاليًا. ونُعزّز هذه الملاحظة ببيان أن عدد الحدود المحلية (local minima) ينخفض بشكل كبير مع تقليل الضجيج، كما نقدّم تحليلًا نظريًا لأداء البحث المحلي في سياق NAS. استنادًا إلى نتائجنا، نقترح لبحث NAS: (1) استخدام البحث المحلي كقاعدة مقارنة، و(2) تقليل الضجيج في خط أنابيب التدريب عند الإمكان.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp