علاقة DETR: استكشاف الأولوية الصريحة للعلاقة المكانية في الكشف عن الأشياء

يقدم هذا البحث مخططًا عامًا لتحسين التقارب والأداء في DETR (DEtection TRansformer). نقوم بدراسة مشكلة التقارب البطيء في النماذج التحويلية من منظور جديد، مقترحين أنها تنبع من الانتباه الذاتي الذي لا يضيف أي تحيز هيكلي على المدخلات. لحل هذه المشكلة، نستكشف إدخال تحيز الانتباه بناءً على العلاقات المكانية كطريقة لتعزيز اكتشاف الأشياء، بعد التحقق من أهميتها الإحصائية باستخدام مقياس الارتباط الكلي الكمي (MC) المقترح. نسمّي نهجنا بـ Relation-DETR، حيث يتم تقديم مُشفِّر (Encoder) لإنشاء تمثيلات علاقات الموضع لتحسين الانتباه بشكل تدريجي، مما يمتد بالأنبوب التقليدي للتيارات المستمرة في DETR إلى أنبوب علاقات مقارنة لمعالجة النزاعات بين التوقعات غير المتكررة والإشراف الإيجابي. تظهر التجارب الواسعة على قواعد بيانات عامة ومحددة للمهمة فعالية نهجنا. تحت نفس التكوينات، يصل Relation-DETR إلى تحسين كبير (+2.0% AP مقارنة بـ DINO)، وأداء رائد (51.7% AP للإعداد 1x و52.1% AP للإعداد 2x)، وتقارب أسرع بكثير (أكثر من 40% AP مع فقط حقبتين تدريبيتين) مقارنة بالكاشفات الحالية لـ DETR على COCO val2017. بالإضافة إلى ذلك، يعمل المُشفِّر المقترح للعلاقات كمكون شامل يمكن دمجه واستخدامه مباشرة، مما يوفر تحسينات واضحة لأي طرق مشابهة لـ DETR نظريًا.علاوة على ذلك، نقدم مجموعة بيانات اكتشاف لا تعتمد على الفئة SA-Det-100k. توضح النتائج التجريبية على هذه المجموعة البيانات أن العلاقات المكانية الصريحة المقترحة حققت تحسنًا واضحًا بنسبة 1.3% AP، مما يؤكد إمكاناتها نحو اكتشاف الأشياء الشامل. يمكن الوصول إلى الرمز والمجموعة البيانات عبر الرابط: https://github.com/xiuqhou/Relation-DETR.