HyperAIHyperAI

Command Palette

Search for a command to run...

BossNAS: استكشاف الهجينة بين الشبكات العصبية التلافيفية والتحويلات باستخدام بحث هندسة البنى العصبية ذاتية التدريب على مستوى الكتل

Changlin Li Tao Tang Guangrun Wang Jiefeng Peng Bing Wang Xiaodan Liang Xiaojun Chang

الملخص

أظهرت العديد من التطورات الأخيرة في الهياكل العصبية اليدوية لتمييز الصور الحاجة الملحة إلى استكشاف هياكل هجينة تتكون من وحدات بناء متنوعة. في الوقت نفسه، تشهد أساليب بحث الهيكل العصبي (NAS) نمواً متسارعاً، مع توقعات بتقليل الجهد البشري. ومع ذلك، ما إذا كانت أساليب NAS قادرة على التعامل بكفاءة وفعالية مع فضاءات بحث متنوعة تتضمن مرشحات مختلفة (مثل الشبكات العصبية التلافيفية (CNNs) والمحولات (Transformers)) لا يزال سؤالاً مفتوحاً. في هذه الدراسة، نقدم طريقة "بحث هياكل عصبية ذاتية التدريب على مستوى الكتل" (BossNAS)، وهي طريقة NAS غير مراقبة تعالج مشكلة تقييم غير دقيق للهياكل الناتجة عن الفضاء الكبير المشترك للوزن والتدريس المتحيز في الأساليب السابقة. وبشكل أكثر تحديداً، نقوم بتقسيم فضاء البحث إلى كتل، واستخدام خطة تدريب ذاتية جديدة تُسمى "الاستخلاص الجماعي" (ensemble bootstrapping) لتدريب كل كتلة بشكل منفصل قبل دمجها معاً نحو المركز السكاني للنماذج. علاوةً على ذلك، نقدم فضاء بحث "HyTra"، وهو فضاء هجين من الشبكات العصبية التلافيفية والمحولات على شكل نسيج، يحتوي على مواقع قابلة للبحث لعملية التقليل (down-sampling). على هذا الفضاء الصعب، حقق النموذج المُستخرج باستخدام BossNAS، المسمى BossNet-T، دقة تصل إلى 82.5% على مجموعة بيانات ImageNet، متفوقاً على EfficientNet بنسبة 2.4% مع وقت حساب مماثل. علاوةً على ذلك، تحقق طريقتنا دقة تقييم هياكل أعلى، حيث بلغت معامل ارتباط سبيرمان 0.78 و0.76 على فضاء البحث القياسي MBConv باستخدام ImageNet وعلى فضاء البحث NATS-Bench باستخدام CIFAR-100، على التوالي، متفوقةً على أحدث أساليب NAS. الكود: https://github.com/changlin31/BossNAS


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp