MOTR: تتبع الأشياء المتعددة من البداية إلى النهاية باستخدام الترانسفورمر

النمذجة الزمنية للأجسام هي تحدي رئيسي في تتبع الأجسام المتعددة (MOT). تستخدم الطرق الحالية التتبع من خلال ربط الاكتشافات باستخدام تقنيات شبهية تعتمد على الحركة والمظهر. يمنع الطابع ما بعد المعالجة للربط استغلال التغيرات الزمنية في سلسلة الفيديو بشكل متكامل من البداية إلى النهاية. في هذا البحث، نقترح نظام MOTR، الذي يمتد لـ DETR ويقدم استعلام تتبع لنمذجة الحالات المتابعة في الفيديو بأكمله. يتم نقل واستعلام التتبع وتحديثه إطارًا بإطار لإجراء التنبؤ التكراري مع مرور الوقت. نقترح أيضًا تعيين تسميات واعٍ بالمسارات القصيرة لتدريب استعلامات التتبع والأشياء الجديدة. بالإضافة إلى ذلك، نقترح شبكة تجميع زمني وخسارة متوسطة جماعية لتعزيز نمذجة العلاقة الزمنية. تظهر النتائج التجريبية على DanceTrack أن نظام MOTR يتفوق بشكل كبير على أحدث الطرق المتبعة، ByteTrack بنسبة 6.5٪ حسب مؤشر HOTA. وعلى MOT17، يتفوق نظام MOTR على أعمالنا المتزامنة، TrackFormer وTransTrack، في أداء الربط. يمكن لنظام MOTR أن يعمل كأساس أكثر قوة للبحوث المستقبلية في النمذجة الزمنية ومتابعي Transformer. يمكن الوصول إلى الكود عبر الرابط:https://github.com/megvii-research/MOTR.