Command Palette
Search for a command to run...
UniNet: بحث معماري موحد يعتمد على التحويل، والشبكة العصبية التحويلية، والشبكة العصبية التلافيفية
UniNet: بحث معماري موحد يعتمد على التحويل، والشبكة العصبية التحويلية، والشبكة العصبية التلافيفية
Jihao Liu Xin Huang Guanglu Song Hongsheng Li Yu Liu
الملخص
في الآونة الأخيرة، حققت هندسات المحولات (transformer) والشبكات العصبية متعددة الطبقات (MLP) نتائج مبهرة في مهام الرؤية المختلفة. ومع ذلك، ما يزال التحدي متمثلًا في كيفية دمج هذه العمليات بشكل فعّال لتكوين هندسات مرئية هجينة عالية الأداء. في هذه الدراسة، نستعرض الدمج القابل للتعلم للعمليات الحسابية مثل التحويل (convolution)، والمحولات (transformer)، والشبكات العصبية متعددة الطبقات (MLP)، من خلال اقتراح نهج جديد لبحث الهيكل المعماري الموحّد. يتضمن هذا النهج تصميمين رئيسيين لتحقيق بحث فعّال في الشبكات عالية الأداء. أولاً، نُمثّل العمليات القابلة للبحث المختلفة بأسلوب موحّد، مما يسمح بتوصيف هذه العمليات باستخدام نفس مجموعة من معلمات التهيئة. وبهذا، يتم تقليل حجم فضاء البحث بشكل كبير، ويصبح إجمالي تكلفة البحث مقبولة. ثانيًا، نقترح وحدات تقليل حجم السياق (DSMs) لتقليل الفجوة بين أنواع العمليات المختلفة. وتُظهر وحدات DSM التي نقترحها قدرة أفضل على التكيّف مع السمات الناتجة عن أنواع مختلفة من العمليات، وهو ما يُعد أمرًا بالغ الأهمية في تحديد الهياكل الهجينة عالية الأداء. في النهاية، ندمج العمليات القابلة للتهيئة مع وحدات DSM في فضاء بحث موحد، ونُجري عملية البحث باستخدام خوارزمية استكشاف تعتمد على التعلم المعزز (Reinforcement Learning) لاستكشاف التوليف الأمثل للعمليات. وبذلك، نقوم ببحث شبكة أساسية، ثم نُضاعف حجمها لتكوين عائلة من النماذج تُسمى UniNets، والتي تحقق دقة وكفاءة أعلى بكثير من الشبكات السابقة من نوع ConvNets والمحولات (Transformers). وبشكل خاص، تصل UniNet-B5 إلى دقة 84.9% في التصنيف الأولي (top-1) على مجموعة بيانات ImageNet، متفوّقة على EfficientNet-B7 وBoTNet-T7 بنسبة 44% و55% على التوالي من حيث عدد العمليات الحسابية (FLOPs). وباستخدام التدريب المسبق على مجموعة ImageNet-21K، تصل UniNet-B6 إلى دقة 87.4%، متفوّقة على Swin-L بنسبة 51% في عدد العمليات الحسابية و41% في عدد المعاملات (parameters). يتوفر الكود على الرابط: https://github.com/Sense-X/UniNet.