HyperAIHyperAI

Command Palette

Search for a command to run...

إعادة التفكير في التصور المحلي في نموذج التحويل البصري الخفيف

Qihang Fan Huaibo Huang Jiyang Guan Ran He

الملخص

أظهرت نماذج المحولات البصرية (ViTs) فعاليتها في مهام بصرية متنوعة. ومع ذلك، يؤدي تقليل حجمها ليصبح مناسبًا للأجهزة المحمولة إلى تدهور كبير في الأداء. وبالتالي، أصبح تطوير نماذج محولات بصرية خفيفة الوزن مجالًا بحثيًا حيويًا. تقدم هذه الورقة نموذج CloFormer، وهو نموذج محول بصري خفيف الوزن يستخدم تعزيزًا محليًا يراعي السياق. يُستكشف في CloFormer العلاقة بين المعاملات المشتركة عالميًا التي تُستخدم غالبًا في المشغلات التلافيفية القياسية، ومعاملات السياق المخصصة للـ tokens التي تظهر في العمليات الانتباهية، ثم يُقترح وحدة فعّالة وواضحة لالتقاط المعلومات المحلية عالية التردد. في CloFormer، نقدّم AttnConv، وهي مشغل تلافيفي يعتمد على نمط الانتباه. يستخدم AttnConv المعاملات المشتركة لتجميع المعلومات المحلية، ويوظف معاملات مصممة بعناية تراعي السياق لتعزيز السمات المحلية. ونتيجة لدمج AttnConv مع الانتباه القياسي الذي يستخدم عملية التجميع (pooling) لتقليل عدد العمليات الحسابية (FLOPs)، يمكن للنموذج في CloFormer تمييز المعلومات عالية التردد ومنخفضة التردد. أُجريت تجارب واسعة في تصنيف الصور، وكشف الكائنات، والتقسيم الدلالي، مما يُظهر تفوق CloFormer. يُمكن الوصول إلى الكود عبر الرابط: \url{https://github.com/qhfan/CloFormer}.


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp