تدريب DETR مع المهام الهجينة التعاونية

في هذا البحث، نقدم ملاحظة تفيد بأن قلة الاستعلامات المُصنفة كعينات إيجابية في نظام DETR مع التطابق المجموعي واحد لواحد تؤدي إلى إشراف نادر على مخرجات الكودر (المرمز)، مما يؤثر بشكل كبير على تعلم الخصائص التمييزية للكودر، وكذلك الأمر بالنسبة لتعلم الانتباه في الديكودر (المنشئ). للحد من هذه المشكلة، نقترح مخطط تدريب جديد للتعيينات الهجينة التعاونية، يُسمى $\mathcal{C}$o-DETR، بهدف تعلم كاشفات أكثر كفاءة وفعالية تعتمد على DETR من خلال أساليب تعيين متعددة ومتنوعة للوسوم. يمكن لهذا المخطط التدريبي الجديد تعزيز قدرة الكودر على التعلم في الكاشفات النهائية من خلال تدريب الرؤوس المساعدة المتوازية المتعددة التي يتم الإشراف عليها بواسطة تعيينات وسوم واحدة لكثير مثل ATSS وFaster RCNN. بالإضافة إلى ذلك، نقوم بإجراء استعلامات إيجابية مخصصة إضافية عن طريق استخراج الإحداثيات الإيجابية من هذه الرؤوس المساعدة لتحسين كفاءة التدريب للعينات الإيجابية في الديكودر. أثناء الاستدلال، يتم التخلص من هذه الرؤوس المساعدة وبالتالي لا يضيف طرحنا أي معلمات أو تكلفة حسابية إضافية إلى الكاشف الأصلي ولا يتطلب أي ضغط غير أقصى يدوياً (NMS). أجرينا العديد من التجارب الواسعة لتقييم فعالية النهج المقترح على متغيرات DETR، بما في ذلك DAB-DETR وDeformable-DETR وDINO-Deformable-DETR. يمكن تحسين أفضل النماذج الحالية DINO-Deformable-DETR مع Swin-L من 58.5% إلى 59.5% AP على COCO val. وبشكل مفاجئ، عند دمجه مع العمود الفقري ViT-L، حققنا 66.0% AP على COCO test-dev و67.9% AP على LVIS val، مما يتفوق بفارق واضح على الطرق السابقة بمعدلات أعلى بكثير وأحجام نماذج أقل بكثير. يمكن الوصول إلى الأكواد عبر الرابط \url{https://github.com/Sense-X/Co-DETR}.