IoU مع الوعي بالقناع للتعيين المchorاري في التجزئة الفورية للمثيلات

يقدم هذا البحث تقنية "نسبة التقاطع على الاتحاد مع الاعتبار للقناع" (maIoU) لتعيين صناديق الأهداف كإيجابية أو سلبية أثناء تدريب طرق التجزئة الشمولية (instance segmentation). بخلاف نسبة التقاطع على الاتحاد التقليدية (IoU) وأصنافها، التي تأخذ في الاعتبار فقط قرب صندقيين من بعضهما البعض؛ فإن maIoU تقوم بقياس القرب بشكل متسق بين صندوق الهدف وصندوق الحقيقة الأرضية المرتبط به، بالإضافة إلى قناع الحقيقة الأرضية. وبالتالي، عند الأخذ في الاعتبار القناع الذي يمثل في الواقع شكل الكائن، تمكن maIoU من توفير إشراف أكثر دقة أثناء التدريب. نقدم فعالية maIoU على أحدث المُعينات (SOTA) مثل ATSS، وذلك عن طريق استبدال عملية IoU بعملية maIoU الخاصة بنا وتدريب YOLACT، وهو أحدث طريقة للتقطيع الشمولي الفوري. باستخدام ATSS مع maIoU، يتم تجاوز الأداء (i) لـ ATSS مع IoU بمقدار $\sim 1$ من دقة القناع AP، (ii) لـ YOLACT الأساسي مع مُعين العتبة الثابتة بمقدار $\sim 2$ من دقة القناع AP عند أحجام الصور المختلفة، و(iii) تقليل وقت الاستدلال بنسبة $25\%$ نتيجة استخدام عدد أقل من صناديق الأهداف. ثم، باستغلال هذه الكفاءة، تم تصميم maYOLACT، وهو كاشف أسرع ومزيد الدقة بمقدار $+6$ AP مقارنة بـ YOLACT. حقق أفضل نموذج لدينا دقة قناع AP بلغت $37.7$ بمعدل $25$ إطارًا في الثانية على مجموعة اختبار COCO test-dev، مما يحدد مستوى جديدًا لأحدث التقنيات في التجزئة الشمولية الفورية. يمكن الوصول إلى الرمز البرمجي عبر الرابط: https://github.com/kemaloksuz/Mask-aware-IoU