MViTv2: تحسين التحويلات البصرية متعددة المقاييس للتصنيف والكشف

في هذه الورقة، ندرس نماذج التحويلات البصرية متعددة المقاييس (MViTv2) كمُعمَّل موحد للتصنيف الصوري والفيديو، بالإضافة إلى كشف الكائنات. نقدّم نسخة محسّنة من MViT تتضمّن تضمينات موضعية نسبية مُفكّكة ووصلات تجميع تراكمية (residual pooling connections). نُطبّق هذا المعمَل بخمسة أحجام مختلفة، ونقيّمه على مهام تصنيف ImageNet، وكشف الكائنات في COCO، وتمييز الفيديو في Kinetics، حيث يتفوّق على الطرق السابقة. كما نقارن بين انتباه التجميع (pooling attention) في MViTv2 وآليات الانتباه النافذة (window attention)، حيث يتفوّق الأول من حيث الدقة مقابل استهلاك الحوسبة. وبلا إضافات إضافية (بدون "بلاس-أند-وايلز")، يحقّق MViTv2 أداءً متميزًا في ثلاث مجالات: دقة 88.8% في تصنيف ImageNet، و58.7 نقطة AP للصناديق في كشف الكائنات على COCO، بالإضافة إلى 86.1% في تصنيف الفيديو على Kinetics-400. يمكن الوصول إلى الكود والنماذج عبر الرابط: https://github.com/facebookresearch/mvit.