TrackFormer: التتبع متعدد الكائنات باستخدام المحولات

إن المهمة الصعبة لتتبع الكائنات المتعددة (MOT) تتطلب استنتاجًا متزامنًا حول بدء المسار، والهوية، والمسارات الفضائية-الزمنية. نُصِف هذه المهمة كمشكلة تنبؤ بالمجموعات بين الإطارات، ونقدّم TrackFormer، وهو نهج مُدرّب بشكل منتهٍ (end-to-end) لتتبع الكائنات المتعددة، مبني على بنية مُشفّرة-مُفكّكة (encoder-decoder) من نوع Transformer. يحقّق نموذجنا الربط بين الإطارات من خلال الانتباه (attention) من خلال تطوير مجموعة من تنبؤات المسارات عبر تسلسل الفيديو. يقوم مُفكّك Transformer بإنشاء مسارات جديدة من خلال استفسارات كائن ثابتة، ويتابع بشكل تكراري (autoregressively) المسارات الموجودة في الفضاء والزمن باستخدام استفسارات مسارات جديدة من حيث المفهوم وتحافظ على الهوية. وتستفيد كلا نوعي الاستفسارات من الانتباه الذاتي والانتباه بين المشفر والفكّاك على الميزات على مستوى الإطار الكلي، مما يُلغي الحاجة إلى أي تحسين رسمي إضافي أو نمذجة للحركة و/أو المظهر. يقدّم TrackFormer نموذجًا جديدًا لتتبع الكائنات عبر الانتباه، ورغم بساطة تصميمه، فإنه قادر على تحقيق أداءً يُعدّ الأفضل في مجال تتبّع الكائنات المتعددة (MOT17 وMOT20) وتقسيم الكائنات (MOTS20). يُمكن الاطلاع على الكود عبر الرابط: https://github.com/timmeinhardt/trackformer.