HyperAIHyperAI

Command Palette

Search for a command to run...

هياكل قابلة للعكس لشبكات عصبية متبقية ذات عمق تعسفي

Bo Chang Lili Meng Eldad Haber Lars Ruthotto David Begert Elliot Holtham

الملخص

في الآونة الأخيرة، تم تطبيق الشبكات العصبية المتبقية العميقة بنجاح في العديد من مهام رؤية الحاسوب ومعالجة اللغة الطبيعية، مما أدى إلى تحسين الأداء الرائد بفضل الهياكل الأعمق والأوسع. في هذا العمل، نقوم بتفسير الشبكات العصبية المتبقية العميقة على أنها معادلات تفاضلية عادية (ODEs)، وهي موضوع دراسة طويلة في الرياضيات والفيزياء وقد حققت نجاحًا نظريًا وتطبيقيًا غنيًا. من خلال هذا التفسير، قمنا بتطوير إطار نظري حول استقرار وإعادة قابلية الشبكات العصبية العميقة، واستخدمنا هذا الإطار لاشتقاق ثلاثة هياكل للشبكات العصبية القابلة لإعادة التتبع يمكن أن تكون عميقة بشكل تعسفي من الناحية النظرية. خاصية إعادة القابلية تسمح بتنفيذ فعال يستهلك الذاكرة بشكل أقل، حيث لا يتعين تخزين التنشيطات لأغلب الطبقات المخفية. بالإضافة إلى الاستقرار في هياكلنا، فإن هذا يمكّن من تدريب شبكات أعمق باستخدام موارد حاسوبية متواضعة فقط. نقدم تحليلات نظرية ونتائج تجريبية. تظهر النتائج التجريبية فعالية هياكلنا مقابل عدة أسس قوية على مجموعات بيانات CIFAR-10 وCIFAR-100 وSTL-10 بأداء رائد أو مكافئ للأداء الرائد الحالي. علاوة على ذلك، نوضح أن هياكلنا تعطي نتائج أفضل عند التدريب باستخدام كمية أقل من البيانات التدريبية.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp