DETR للبروز: تحسين كاشف التحويلات باستخدام تكرار تنقية البروز الهرمي

الطرق المشابهة لـ DETR قد أحدثت زيادة كبيرة في أداء الكشف بطريقة شاملة من البداية إلى النهاية. الإطارات الثنائية الرئيسية منها تقوم بتنفيذ انتباه ذاتي كثيف واختيار جزء من الاستعلامات للانتباه المتقاطع النادر، وهو ما أثبت فعاليته في تحسين الأداء ولكنه يضيف أيضًا عبء حسابي ثقيل واعتمادًا كبيرًا على اختيار الاستعلامات بشكل مستقر. هذا البحث يوضح أن استراتيجيات الاختيار الثنائية غير المثلى تؤدي إلى انحياز مقياس وإلى تكرار بسبب عدم التوافق بين الاستعلامات المختارة والكائنات في مرحلة التهيئة الثنائية. لحل هذه المشكلات، نقترح تقنية تصحيح المرشحات الهرمية للبروز، والتي تقوم بتشفير الترانسفورمر فقط على الاستعلامات المميزة التي تم تصفيتها، لتحقيق توازن أفضل بين كفاءة الحساب والدقة. يتم التغلب على انحياز المقياس خلال عملية التصفية من خلال إشراف جديد مستقل عن المقياس للبروز. لتعويض عدم التوافق الدلالي بين الاستعلامات، نقدم وحدات تصحيح استعلام معقدة لتحقيق تهيئة ثنائية مستقرة. بناءً على هذه التحسينات، حقق Salience DETR تحسينات كبيرة بنسبة +4.0% AP و+0.2% AP و+4.4% AP في ثلاثة مجموعات بيانات خاصة بالكشف صعبة ومتنوعة، بالإضافة إلى نسبة 49.2% AP على COCO 2017 مع عدد أقل من العمليات العائمة (FLOPs). يمكن الحصول على الكود من الرابط https://github.com/xiuqhou/Salience-DETR.