تنشيط النماذج النادرة للتقسيم الزمني الفعلي للنماذج

في هذا البحث، نقترح إطارًا جديدًا مفهوميًا وكفاءً وذو تجزئة كاملة للتجزئة الزمنية الحقيقية للمثيلات. في السابق، كانت معظم طرق تجزئة المثيلات تعتمد بشكل كبير على الكشف عن الأشياء وتقوم بتوقع الأقنعة بناءً على الصناديق الحدودية أو المراكز الكثيفة. بخلاف ذلك، نقترح مجموعة نادرة من خرائط التنشيط للمثيلات كتمثيل جديد للأشياء لتسليط الضوء على المناطق المعلوماتية لكل جسم في المقدمة. ثم يتم الحصول على الخصائص على مستوى المثيلة من خلال تجميع الخصائص وفقًا للمناطق المعروضة للتمييز والتجزئة. بالإضافة إلى ذلك، بناءً على التوافق الثنائي، يمكن أن تتوقع خرائط التنشيط للمثيلات الأشياء بطريقة واحدة إلى واحدة، مما يتجنب القمع غير الأقصى (NMS) في المعالجة اللاحقة. بفضل التصميمات البسيطة ولكن الفعالة باستخدام خرائط التنشيط للمثيلات، يحقق SparseInst سرعة استدلال متطرفة ويبلغ 40 صورة في الثانية و37.9 AP على معيار COCO، مما يتفوق بشكل كبير على النظائر من حيث السرعة والدقة. الرمز والموديلات متاحة في https://github.com/hustvl/SparseInst.