ISTR: التجزئة اللاحقة للInstances باستخدام Transformers

تُحسّن النماذج النهائية إلى النهائية (end-to-end) بشكل كبير دقة العديد من نماذج الرؤية الحاسوبية المستندة إلى التعلم العميق. ولتحقيق ذلك، تم تطوير مهام مثل كشف الكائنات من خلال استبدال المكونات غير النهائية إلى النهائية، مثل إزالة عملية قمع الحد الأقصى غير الضرورية (non-maximum suppression) من خلال التدريب باستخدام خسارة محددة تعتمد على التوافق الثنائي (bipartite matching). ومع ذلك، لا يمكن تطبيق هذا التحسين على التجزئة الحقيقية (instance segmentation) نظرًا لارتفاع أبعاد الإخراج بشكل كبير مقارنة بكشف الكائنات. في هذه الورقة، نقترح نموذجًا للتحويل (Transformer) للتجزئة الحقيقية، يُسمى ISTR، وهو أول إطار عمل نهائي إلى نهائي من نوعه. يقوم ISTR بتوقع تضمينات قناع ذات أبعاد منخفضة، ثم يُطابقها مع تضمينات القناع الحقيقية (ground truth) لاستخدامها في خسارة المجموعة (set loss). علاوة على ذلك، يقوم ISTR بإجراء كشف وتجزئة بشكل متزامن باستخدام استراتيجية تحسين تكرارية، مما يوفر طريقة جديدة لتحقيق التجزئة الحقيقية مقارنة بالإطارات الحالية من النوع العلوي إلى السفلي (top-down) والسفلي إلى العلوي (bottom-up). وبفضل الآلية النهائية إلى النهائية المُقترحة، يُظهر ISTR أداءً متميزًا حتى عند استخدام تضمينات تقريبية غير مثالية. وبشكل محدد، حقق ISTR تقييمًا قدره 46.8/38.6 في مقياس AP للصندوق/القناع باستخدام نموذج ResNet50-FPN، و48.1/39.9 باستخدام ResNet101-FPN، على مجموعة بيانات MS COCO. تُظهر النتائج الكمية والكيفية الإمكانات الواعدة لـ ISTR كأساس قوي للتمييز على مستوى الكائنات. تم إتاحة الكود المصدر على الرابط التالي: https://github.com/hujiecpp/ISTR.