HyperAIHyperAI

Command Palette

Search for a command to run...

KNAS: بحث معماري عصبي خضراء

Jingjing Xu Liang Zhao Junyang Lin Rundong Gao Xu Sun Hongxia Yang

الملخص

تُعتمد العديد من حلول بحث البنية العصبية (NAS) الحالية على التدريب في المهام التطبيقية لتقييم البنية، مما يستهلك حجمًا كبيرًا من الحوسبة. وبما أن هذه العمليات الحسابية تُحدث أثرًا كربونيًا كبيرًا، يهدف هذا البحث إلى استكشاف حل NAS "أخضر" (أي صديق للبيئة) يُقيّم البنى دون الحاجة إلى التدريب. بشكل مُباشر، فإن التدرجات الناتجة عن البنية نفسها تُحدد مباشرة نتائج التقارب والعامية (generalization). وهذا يُحفّزنا على اقتراح فرضية "نواة التدرج": يمكن استخدام التدرجات كمُستبدل خشن (coarse-grained proxy) للتدريب في المهام التطبيقية لتقييم الشبكات التي تُبدأ بقيم عشوائية. لدعم هذه الفرضية، قمنا بتحليل نظري ووجدنا نواة تدرج عملية تُظهر ارتباطًا جيدًا بخسارة التدريب والأداء في التحقق. وفقًا لهذه الفرضية، قمنا بتطوير منهجية جديدة لبحث البنية تعتمد على النواة، تُسمى KNAS. تُظهر التجارب أن KNAS تحقق نتائج تنافسية، وبسرعة تفوق بعشرات أو مئات المرات من النماذج التقليدية التي تعتمد على نمط "التدريب ثم الاختبار" في مهام تصنيف الصور. علاوةً على ذلك، فإن التكلفة المنخفضة جدًا لعملية البحث تُمكّن تطبيقها على نطاق واسع. كما أن الشبكة التي تم اكتشافها تتفوّق على النموذج القوي RoBERTA-large في مهام تصنيف النصوص ذات الحدين. يمكن الوصول إلى الشيفرة المصدرية عبر الرابط: \url{https://github.com/Jingjing-NLP/KNAS}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
KNAS: بحث معماري عصبي خضراء | مستندات | HyperAI