HyperAIHyperAI

Command Palette

Search for a command to run...

UniNet: بحث معماري موحد يعتمد على التحويل، والشبكة العصبية التحويلية، والشبكة العصبية التلافيفية

Jihao Liu Xin Huang Guanglu Song Hongsheng Li Yu Liu

الملخص

في الآونة الأخيرة، حققت هندسات المحولات (transformer) والشبكات العصبية متعددة الطبقات (MLP) نتائج مبهرة في مهام الرؤية المختلفة. ومع ذلك، ما يزال التحدي متمثلًا في كيفية دمج هذه العمليات بشكل فعّال لتكوين هندسات مرئية هجينة عالية الأداء. في هذه الدراسة، نستعرض الدمج القابل للتعلم للعمليات الحسابية مثل التحويل (convolution)، والمحولات (transformer)، والشبكات العصبية متعددة الطبقات (MLP)، من خلال اقتراح نهج جديد لبحث الهيكل المعماري الموحّد. يتضمن هذا النهج تصميمين رئيسيين لتحقيق بحث فعّال في الشبكات عالية الأداء. أولاً، نُمثّل العمليات القابلة للبحث المختلفة بأسلوب موحّد، مما يسمح بتوصيف هذه العمليات باستخدام نفس مجموعة من معلمات التهيئة. وبهذا، يتم تقليل حجم فضاء البحث بشكل كبير، ويصبح إجمالي تكلفة البحث مقبولة. ثانيًا، نقترح وحدات تقليل حجم السياق (DSMs) لتقليل الفجوة بين أنواع العمليات المختلفة. وتُظهر وحدات DSM التي نقترحها قدرة أفضل على التكيّف مع السمات الناتجة عن أنواع مختلفة من العمليات، وهو ما يُعد أمرًا بالغ الأهمية في تحديد الهياكل الهجينة عالية الأداء. في النهاية، ندمج العمليات القابلة للتهيئة مع وحدات DSM في فضاء بحث موحد، ونُجري عملية البحث باستخدام خوارزمية استكشاف تعتمد على التعلم المعزز (Reinforcement Learning) لاستكشاف التوليف الأمثل للعمليات. وبذلك، نقوم ببحث شبكة أساسية، ثم نُضاعف حجمها لتكوين عائلة من النماذج تُسمى UniNets، والتي تحقق دقة وكفاءة أعلى بكثير من الشبكات السابقة من نوع ConvNets والمحولات (Transformers). وبشكل خاص، تصل UniNet-B5 إلى دقة 84.9% في التصنيف الأولي (top-1) على مجموعة بيانات ImageNet، متفوّقة على EfficientNet-B7 وBoTNet-T7 بنسبة 44% و55% على التوالي من حيث عدد العمليات الحسابية (FLOPs). وباستخدام التدريب المسبق على مجموعة ImageNet-21K، تصل UniNet-B6 إلى دقة 87.4%، متفوّقة على Swin-L بنسبة 51% في عدد العمليات الحسابية و41% في عدد المعاملات (parameters). يتوفر الكود على الرابط: https://github.com/Sense-X/UniNet.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp