HyperAIHyperAI

Command Palette

Search for a command to run...

Axial-DeepLab: انتباه محوري منفصل للفصل البانوبتيك

Huiyu Wang Yukun Zhu Bradley Green Hartwig Adam Alan Yuille Liang-Chieh Chen

الملخص

تستفيد التحويلات (Convolution) من مبدأ المحلية لتحقيق الكفاءة، ولكن بثمن فقدان السياق على المدى الطويل. وقد تم اعتماد الانتباه الذاتي (Self-attention) لتعزيز الشبكات العصبية التلافيفية (CNNs) بتفاعل غير محلي. وقد أثبتت الدراسات الحديثة إمكانية تجميع طبقات الانتباه الذاتي لتكوين شبكة كاملة الانتباه، وذلك بتقييد الانتباه إلى منطقة محلية. في هذه الورقة، نسعى إلى إزالة هذا القيود من خلال تفكيك الانتباه الذاتي ثنائي الأبعاد إلى عنصرين من الانتباه الذاتي أحادي الأبعاد. ويؤدي هذا إلى تقليل التعقيد الحسابي، ويسمح بتنفيذ الانتباه داخل منطقة أوسع، بل وحتى على مستوى عالمي. وبالإضافة إلى ذلك، نقترح تصميمًا جديدًا للانتباه الذاتي يراعي الموضع (position-sensitive self-attention). وعند دمج هذين العنصرين، نحصل على طبقة الانتباه المحوري الحساسة للموضع (position-sensitive axial-attention)، وهي وحدة بناء جديدة يمكن تجميعها لتكوين نماذج انتباه محوري (axial-attention) لتصنيف الصور والتنبؤ الكثيف. ونُظهر فعالية نموذجنا على أربع مجموعات بيانات كبيرة. وبشكل خاص، يتفوق نموذجنا على جميع النماذج المستقلة القائمة على الانتباه الذاتي الحالية على مجموعة بيانات ImageNet. كما يحقق Axial-DeepLab تحسنًا بنسبة 2.8% في مؤشر PQ مقارنة بالحالة المتطورة الحالية من الأسفل على مجموعة بيانات COCO test-dev. وتحقيق هذه الحالة المتطورة كان ممكنًا عبر النسخة الصغيرة من نموذجنا، التي تتميز بكفاءة أعلى بنسبة 3.8 مرة من حيث عدد المعاملات، وبنسبة 27 مرة من حيث الكفاءة الحسابية. كما يحقق Axial-DeepLab نتائج قياسية على مجموعتي بيانات Mapillary Vistas وCityscapes.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp
Axial-DeepLab: انتباه محوري منفصل للفصل البانوبتيك | مستندات | HyperAI