HyperAIHyperAI

Command Palette

Search for a command to run...

DynamicViT: Transformers البصرية الفعالة مع تخفيف الرموز الديناميكي

Rao Yongming ; Zhao Wenliang ; Liu Benlin ; Lu Jiwen ; Zhou Jie ; Hsieh Cho-Jui

الملخص

الاهتمام نادر في متحولات الرؤية. لقد لاحظنا أن التنبؤ النهائي في متحولات الرؤية يعتمد فقط على مجموعة فرعية من الأدلة الأكثر إفادة، والتي تكون كافية للتمييز الدقيق للصورة. بناءً على هذا الملاحظة، نقترح إطارًا ديناميكيًا لتخفيف الأدلة الزائدة تدريجيًا وديناميكيًا اعتمادًا على المدخلات. بشكل خاص، قمنا بتطوير وحدة تنبؤ خفيفة الوزن لتقدير درجة أهمية كل دليل بناءً على الخصائص الحالية. يتم إضافة هذه الوحدة إلى طبقات مختلفة لتخفيف الأدلة الزائدة بطريقة هرمية. لتحسين الوحدة التنبؤية بطريقة شاملة، نقترح استراتيجية حجب الاهتمام لحذف الدليل بشكل قابل للمفاضلة عن طريق منع تفاعله مع الأدلة الأخرى. بفضل طبيعة الاهتمام الذاتي، فإن الأدلة النادرة غير المنظمة لا تزال صديقة للأجهزة، مما يجعل إطارنا سهل التطبيق لتحقيق تسريع حقيقي. من خلال حذف 66٪ من الأدلة المدخلية بطريقة هرمية، يقلل طرحتنا بشكل كبير من عدد العمليات العددية (FLOPs) بنسبة 31٪ إلى 37٪ ويحسن الإنتاجية بأكثر من 40٪ بينما يكون انخفاض الدقة ضمن 0.5٪ لمتحولات الرؤية المختلفة. عند تجهيزها بإطار تخفيف الأدلة الديناميكي، يمكن لأنماط DynamicViT تحقيق توافقات تعقيد/دقة تنافسية للغاية مقارنة بأحدث شبكات النيورونات المتلافهة (CNNs) ومتحولات الرؤية على ImageNet. يمكن الوصول إلى الكود في الرابط التالي: https://github.com/raoyongming/DynamicViT


بناء الذكاء الاصطناعي بالذكاء الاصطناعي

من الفكرة إلى الإطلاق — سرّع تطوير الذكاء الاصطناعي الخاص بك مع المساعدة البرمجية المجانية بالذكاء الاصطناعي، وبيئة جاهزة للاستخدام، وأفضل أسعار لوحدات معالجة الرسومات.

البرمجة التعاونية باستخدام الذكاء الاصطناعي
وحدات GPU جاهزة للعمل
أفضل الأسعار

HyperAI Newsletters

اشترك في آخر تحديثاتنا
سنرسل لك أحدث التحديثات الأسبوعية إلى بريدك الإلكتروني في الساعة التاسعة من صباح كل يوم اثنين
مدعوم بواسطة MailChimp