HyperAIHyperAI

Command Palette

Search for a command to run...

DenseNets مُعادَة التحميل: تحول في النموذج يتجاوز ResNets و ViTs

Donghyun Kim Byeongho Heo Dongyoon Han

الملخص

يُعيد هذا البحث إحياء شبكات التعلم العميقة ذات الاتصالات الكثيفة (DenseNets) ويُظهر فعاليتها المُستهترة بها مقارنة بالهياكل السائدة من نوع ResNet. نعتقد أن إمكانات DenseNets تم تجاهلها بسبب عدم استخدام طرق التدريب المناسبة وعناصر التصميم التقليدية التي لم تكشف عن قدراتها بشكل كامل. أظهرت دراستنا الأولية أن الاتصالات الكثيفة عبر الجمع (concatenation) قوية، مما يدل على أن DenseNets يمكن إحياؤها لتنافس الهياكل الحديثة. قمنا بتحسين المكونات غير المثلى بطريقة منهجية - تعديلات هندسية، إعادة تصميم الكتل، ووصفات تدريب محسنة - بهدف توسيع DenseNets وزيادة كفاءة الذاكرة مع الحفاظ على اختصارات الجمع (concatenation). في النهاية، تفوقت نماذجنا التي تستعمل عناصر هندسية بسيطة على Swin Transformer، ConvNeXt، و DeiT-III - وهي هياكل رئيسية في سلسلة التعلم المتتابع (residual learning). بالإضافة إلى ذلك، أظهرت نماذجنا أداءً يقترب من الأفضل في ImageNet-1K، حيث تنافست مع النماذج الأكثر حداثة والمهمات الثانوية مثل تقسيم الصور إلى أجزاء دلالية (semantic segmentation) في ADE20k وكشف الأشياء/تقسيم الحالات (object detection/instance segmentation) في COCO. وأخيرًا، قدّمنا تحليلات تجريبية كشفت عن فوائد الجمع (concatenation) مقارنة باختصارات الجمع الإضافي (additive shortcuts)، مما يوجّه اتجاهًا جديدًا نحو تصاميم من نوع DenseNet. يمكن الوصول إلى شفرتنا البرمجية عبر الرابط https://github.com/naver-ai/rdnet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
DenseNets مُعادَة التحميل: تحول في النموذج يتجاوز ResNets و ViTs | مستندات | HyperAI