BoxMask: إعادة النظر في الإشراف بالمستطيلات المحيطة للكشف عن الكائنات في الفيديو

نقدم منهجًا جديدًا بسيطًا ولكنه فعّال لتحسين كشف الكائنات في الفيديو. لاحظنا أن الدراسات السابقة تعتمد على تجميع السمات على مستوى المثيلات، مما يؤدي إلى إهمال التمثيل الدقيق على مستوى البكسل، ما يسبب ارتباكًا بين الكائنات التي تتشابه في المظهر أو الخصائص الحركية. لمعالجة هذه القيود، نقترح طريقة BoxMask التي تتعلم تمثيلات تمييزية بشكل فعّال من خلال دمج معلومات على مستوى البكسل تراعي الفئة. نظرًا ببساطة إلى تسميات المربعات المحيطة (bounding boxes) كقناع خشن لكل كائن لدعم طريقة التدريب لدينا. يمكن دمج الوحدة المقترحة بسهولة في أي كاشف يعتمد على المناطق لتعزيز أداء الكشف. أظهرت التجارب الواسعة على مجموعتي بيانات ImageNet VID وEPIC KITCHENS تحسنًا متسقًا وملحوظًا عند تضمين وحدة BoxMask في العديد من الطرق الحديثة الأفضل في مجالها.