التعلم المضاد لتتبع الكائنات المتعددة باستخدام المحولات

أطلق نموذج DETR (الكشف عبر التحويل) إمكانيات جديدة في كشف الكائنات من خلال تمثيله كمهمة تحويل: أي تحويل ميزات الصورة إلى تمثيلات على مستوى الكائنات. عادةً ما تقوم الدراسات السابقة بإضافة وحدات مكلفة إلى نموذج DETR لتنفيذ تتبع الكائنات المتعددة (MOT)، مما يؤدي إلى هياكل أكثر تعقيدًا. بدلًا من ذلك، نُظهر كيف يمكن تحويل DETR إلى نموذج لتتبع الكائنات المتعددة من خلال استخدام خسارة تباينية على مستوى الكائنات، واستراتيجية عينة معدلة، وطريقة تعيين خفيفة الوزن. يتعلم نموذجنا أثناء التدريب ملامح الكائنات مع الحفاظ على قدراته في الكشف، وبأثر ضئيل على الموارد. وتفوق أداؤه على أحدث النماذج السابقة بنسبة +2.6 في مؤشر mMOTA على مجموعة بيانات BDD100K الصعبة، ويتماشى مع النماذج القائمة على المحولات الحالية على مجموعة بيانات MOT17.