HyperAIHyperAI
منذ 17 أيام

الانسيابيات النقطية المجموعة تقلل بشكل كبير من عدد المعلمات في EfficientNet

{Domenec Puig, Hatem Rashwan, Mohamed Abdel-Nasser, Santiago Romani, Joao Paulo Schwarz Schuler}
الملخص

يُعدُّ EfficientNet معمارية حديثة لشبكات التعلم العميق ذات التحويلات التلافيفية العميقة (DCNN)، مصممة لتكون قابلة للتوسع بشكل متناسب من حيث العمق والعرض ودقة الصورة. من خلال متغيراتها، يمكنها تحقيق دقة متقدمة على مستوى المهمة التصنيفية لـ ImageNet، وكذلك على مجموعة من التحديات الكلاسيكية الأخرى. وعلى الرغم من أن اسمها يشير إلى كفاءتها فيما يتعلق بنسب الأداء (الدقة) إلى الموارد المطلوبة (عدد المعلمات، أو عدد العمليات الحسابية - FLOPs)، فإننا ندرس طريقة تقليل عدد المعلمات القابلة للتدريب الأصلي بنسبة تزيد عن 84% مع الحفاظ على مستوى دقة شبه متطابق. وتقترح هذه المبادرة تحسين عمليات التحويل النقطي (1x1)، التي يزداد عدد معلماتها بسرعة بسبب ضرب عدد الفلاتر بعدد قنوات الإدخال القادمة من الطبقة السابقة. بشكل أساسي، يكمن التعديل في تقسيم الفلاتر إلى فروع متوازية، حيث تقوم كل فرع بمعالجة جزء من قنوات الإدخال. ومع ذلك، يؤدي هذا التوزيع إلى تدهور قدرة الشبكة على التعلم. لتجنب هذا التأثير، نقترح تداخل مخرجات الفلاتر من فروع مختلفة في الطبقات المتوسطة بين التحويلات النقطية المتتالية. وتشير تجاربنا باستخدام مجموعة بيانات CIFAR-10 إلى أن النسخة المحسّنة من EfficientNet تمتلك قدرة تعلم مماثلة للتصميم الأصلي عند التدريب من البداية.