DynamicViT: Transformers البصرية الفعالة مع تخفيف الرموز الديناميكي

الاهتمام نادر في متحولات الرؤية. لقد لاحظنا أن التنبؤ النهائي في متحولات الرؤية يعتمد فقط على مجموعة فرعية من الأدلة الأكثر إفادة، والتي تكون كافية للتمييز الدقيق للصورة. بناءً على هذا الملاحظة، نقترح إطارًا ديناميكيًا لتخفيف الأدلة الزائدة تدريجيًا وديناميكيًا اعتمادًا على المدخلات. بشكل خاص، قمنا بتطوير وحدة تنبؤ خفيفة الوزن لتقدير درجة أهمية كل دليل بناءً على الخصائص الحالية. يتم إضافة هذه الوحدة إلى طبقات مختلفة لتخفيف الأدلة الزائدة بطريقة هرمية. لتحسين الوحدة التنبؤية بطريقة شاملة، نقترح استراتيجية حجب الاهتمام لحذف الدليل بشكل قابل للمفاضلة عن طريق منع تفاعله مع الأدلة الأخرى. بفضل طبيعة الاهتمام الذاتي، فإن الأدلة النادرة غير المنظمة لا تزال صديقة للأجهزة، مما يجعل إطارنا سهل التطبيق لتحقيق تسريع حقيقي. من خلال حذف 66٪ من الأدلة المدخلية بطريقة هرمية، يقلل طرحتنا بشكل كبير من عدد العمليات العددية (FLOPs) بنسبة 31٪ إلى 37٪ ويحسن الإنتاجية بأكثر من 40٪ بينما يكون انخفاض الدقة ضمن 0.5٪ لمتحولات الرؤية المختلفة. عند تجهيزها بإطار تخفيف الأدلة الديناميكي، يمكن لأنماط DynamicViT تحقيق توافقات تعقيد/دقة تنافسية للغاية مقارنة بأحدث شبكات النيورونات المتلافهة (CNNs) ومتحولات الرؤية على ImageNet. يمكن الوصول إلى الكود في الرابط التالي: https://github.com/raoyongming/DynamicViT