طلب التتبع متعدد الأوضاع

يكتسب التتبع متعدد الوسائط اهتمامًا كبيرًا بسبب قدرته على أن يكون أكثر دقة ومتانة في السيناريوهات المعقدة مقارنة بالتتبع القائم على RGB التقليدي. يكمن المفتاح في كيفية دمج البيانات متعددة الوسائط وتقليل الفجوة بين الوسائط. ومع ذلك، لا يزال تتبع الوسائط المتعددة يعاني بشدة من نقص البيانات، مما يؤدي إلى تعلم غير كافٍ لوحدات الدمج. بدلاً من بناء مثل هذه وحدة الدمج، نقدم في هذا البحث رؤية جديدة للتتبع متعدد الوسائط من خلال التركيز على الإشارات المرئية متعددة الوسائط. نصمم متعقب إشارة متعدد الوسائط جديد (ProTrack)، يمكنه تحويل المدخلات متعددة الوسائط إلى وسيلة واحدة باستخدام نموذج الإشارة. من خلال الاستفادة بشكل أفضل من قدرة تتبع الصور المدربة مسبقًا على نطاق واسع، يمكن لمتعقبنا ProTrack تحقيق أداء عالي للتتبع متعدد الوسائط بتعديل المدخلات فقط، وحتى دون أي تدريب إضافي على البيانات متعددة الوسائط. تثبت التجارب الشاملة على خمسة مجموعات بيانات مرجعية فعالية المتعقب المقترح ProTrack.