Command Palette
Search for a command to run...
إعادة التفكير في التصور المحلي في نموذج التحويل البصري الخفيف
إعادة التفكير في التصور المحلي في نموذج التحويل البصري الخفيف
Qihang Fan Huaibo Huang Jiyang Guan Ran He
الملخص
أظهرت نماذج المحولات البصرية (ViTs) فعاليتها في مهام بصرية متنوعة. ومع ذلك، يؤدي تقليل حجمها ليصبح مناسبًا للأجهزة المحمولة إلى تدهور كبير في الأداء. وبالتالي، أصبح تطوير نماذج محولات بصرية خفيفة الوزن مجالًا بحثيًا حيويًا. تقدم هذه الورقة نموذج CloFormer، وهو نموذج محول بصري خفيف الوزن يستخدم تعزيزًا محليًا يراعي السياق. يُستكشف في CloFormer العلاقة بين المعاملات المشتركة عالميًا التي تُستخدم غالبًا في المشغلات التلافيفية القياسية، ومعاملات السياق المخصصة للـ tokens التي تظهر في العمليات الانتباهية، ثم يُقترح وحدة فعّالة وواضحة لالتقاط المعلومات المحلية عالية التردد. في CloFormer، نقدّم AttnConv، وهي مشغل تلافيفي يعتمد على نمط الانتباه. يستخدم AttnConv المعاملات المشتركة لتجميع المعلومات المحلية، ويوظف معاملات مصممة بعناية تراعي السياق لتعزيز السمات المحلية. ونتيجة لدمج AttnConv مع الانتباه القياسي الذي يستخدم عملية التجميع (pooling) لتقليل عدد العمليات الحسابية (FLOPs)، يمكن للنموذج في CloFormer تمييز المعلومات عالية التردد ومنخفضة التردد. أُجريت تجارب واسعة في تصنيف الصور، وكشف الكائنات، والتقسيم الدلالي، مما يُظهر تفوق CloFormer. يُمكن الوصول إلى الكود عبر الرابط: \url{https://github.com/qhfan/CloFormer}.