DenseNets مُعادَة التحميل: تحول في النموذج يتجاوز ResNets و ViTs

يُعيد هذا البحث إحياء شبكات التعلم العميقة ذات الاتصالات الكثيفة (DenseNets) ويُظهر فعاليتها المُستهترة بها مقارنة بالهياكل السائدة من نوع ResNet. نعتقد أن إمكانات DenseNets تم تجاهلها بسبب عدم استخدام طرق التدريب المناسبة وعناصر التصميم التقليدية التي لم تكشف عن قدراتها بشكل كامل. أظهرت دراستنا الأولية أن الاتصالات الكثيفة عبر الجمع (concatenation) قوية، مما يدل على أن DenseNets يمكن إحياؤها لتنافس الهياكل الحديثة. قمنا بتحسين المكونات غير المثلى بطريقة منهجية - تعديلات هندسية، إعادة تصميم الكتل، ووصفات تدريب محسنة - بهدف توسيع DenseNets وزيادة كفاءة الذاكرة مع الحفاظ على اختصارات الجمع (concatenation). في النهاية، تفوقت نماذجنا التي تستعمل عناصر هندسية بسيطة على Swin Transformer، ConvNeXt، و DeiT-III - وهي هياكل رئيسية في سلسلة التعلم المتتابع (residual learning). بالإضافة إلى ذلك، أظهرت نماذجنا أداءً يقترب من الأفضل في ImageNet-1K، حيث تنافست مع النماذج الأكثر حداثة والمهمات الثانوية مثل تقسيم الصور إلى أجزاء دلالية (semantic segmentation) في ADE20k وكشف الأشياء/تقسيم الحالات (object detection/instance segmentation) في COCO. وأخيرًا، قدّمنا تحليلات تجريبية كشفت عن فوائد الجمع (concatenation) مقارنة باختصارات الجمع الإضافي (additive shortcuts)، مما يوجّه اتجاهًا جديدًا نحو تصاميم من نوع DenseNet. يمكن الوصول إلى شفرتنا البرمجية عبر الرابط https://github.com/naver-ai/rdnet.