HyperAIHyperAI

Command Palette

Search for a command to run...

كيف تؤثر البنية الطوبولوجية للهياكل العصبية على انتقال المدى والفعالية النموذجية؟

Radu Marculescu Guihong Li2 Kartikeya Bhardwa

الملخص

تُقدّم شبكة DenseNets اتصالات متعددة من نوع الربط المُتسلسل (concatenation-type skip connections) التي تحقق دقة متقدمة على مستوى الحد الأقصى في عدة مهام رؤية حاسوبية. في هذه الورقة البحثية، نُكشف أن البنية التحتية (الهندسة المعمارية) للاتصالات من نوع الربط المُتسلسل مرتبطة ارتباطًا وثيقًا بتوصيل التدرجات (gradient propagation)، وهو ما يُمكّن بدوره من توقع سلوك أداء الشبكات العصبية العميقة (DNNs) عند الاختبار. من أجل تحقيق ذلك، نُقدّم مقياسًا جديدًا يُسمى NN-Mass لقياس مدى كفاءة تدفق المعلومات عبر الشبكات العصبية العميقة. علاوةً على ذلك، نُظهر تجريبيًا أن مقياس NN-Mass يُعمل أيضًا مع أنواع أخرى من الاتصالات المُتسلسلة، مثل شبكات ResNets وWide-ResNets (WRNs) وMobileNets، التي تحتوي على اتصالات من نوع الجمع (addition-type skip connections)، أي القيم المتبقية (residuals) أو القيم المُعاكسة (inverted residuals). وبهذا، يمكن لمقياس NN-Mass القائم على أساس نظري أن يُحدد النماذج ذات الدقة المماثلة، سواء في شبكات مشابهة لـ DenseNet أو في شبكات ResNets/WRNs/MobileNets، رغم اختلاف حجمها أو متطلبات الحوسبة بشكل كبير. وتقدّم التجارب التفصيلية على مجموعات بيانات مُصطنعة وواقعية (مثل MNIST وCIFAR-10 وCIFAR-100 وImageNet) أدلة واسعة على رؤانا. وأخيرًا، تسمح المعادلة التحليلية المغلقة (closed-form equation) الخاصة بـ NN-Mass بتصميم شبكات DenseNets مُضغوطة بشكل كبير (لـ CIFAR-10) وشبكات MobileNets (لـ ImageNet) مباشرةً عند التهيئة، دون الحاجة إلى عمليات تدريب أو بحث مكلفة زمنيًا.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
كيف تؤثر البنية الطوبولوجية للهياكل العصبية على انتقال المدى والفعالية النموذجية؟ | مستندات | HyperAI