Command Palette
Search for a command to run...
إعادة النظر في التتبع القائم على اللون-الحدث: شبكة موحدة، ومجموعة بيانات، وמדד
إعادة النظر في التتبع القائم على اللون-الحدث: شبكة موحدة، ومجموعة بيانات، وמדד
Chuanming Tang Xiao Wang Ju Huang Bo Jiang Lin Zhu Jianlin Zhang Yaowei Wang Yonghong Tian
الملخص
دمج الكاميرات اللونية والكاميرات الحدثية (التي تُعرف أيضًا بحساسات الرؤية الديناميكية، DVS) لتحسين تتبع الكائنات بشكل موثوق هو موضوع بحثي ناشئ حديثًا في السنوات الأخيرة. غالبًا ما تتضمن الأطر الحالية لتتبع الصور الحدثية اللونية عدة وحدات منفصلة ومتناثرة، مما يؤدي إلى كفاءة منخفضة وتعقيد حسابي عالٍ، بما في ذلك استخراج الميزات، والدمج، والتوافق، والتعلم التفاعلي، إلخ. في هذا البحث، نقترح شبكة أساسية من مرحلة واحدة لـ تتبع موحد للون والحدث (CEUTrack)، التي تحقق الوظائف المذكورة أعلاه بشكل متزامن. عند إعطاء نقاط الحدث والإطارات RGB، نقوم أولًا بتحويل النقاط إلى مكعبات (Voxels)، ثم نُقطع منطقتين: منطقة النموذج (Template) ونطاق البحث (Search Region)، لكل من نوعي البيانات على حدة. بعد ذلك، تُنقَل هاتين المنطقتين إلى وحدات (Tokens) وتُقدَّم بالتوازي إلى الشبكة الأساسية الموحدة المبنية على نموذج المُحَوِّل (Transformer). تُستخدم الميزات الناتجة لاحقًا في وحدة تتبع لتحديد موقع الكائن المستهدف. يُعد CEUTrack المقترح بسيطًا وفعالًا وكفؤًا، حيث يحقق أداءً يتجاوز 75 إطارًا في الثانية (FPS) وأفضل أداء حاليًا (SOTA). ولتحسين التحقق من فعالية النموذج ومعالجة نقص البيانات في هذه المهمة، نقترح أيضًا مجموعة بيانات معيارية وشاملة لتمييز التتبع اللوني-الحدثي، تُسمى COESOT، وتشمل 90 فئة و1354 تسلسلًا فيديو. علاوةً على ذلك، نُقدِّم في أدوات التقييم مقياسًا جديدًا يُسمى BOC لتقييم التميز مقارنةً بالطرق الأساسية. نأمل أن يوفر المنهج الجديد، ومجموعة البيانات، ومقياس التقييم، منصة أفضل لتطوير التتبع القائم على الصور الحدثية. سيتم الإفراج عن مجموعة البيانات، وأدوات التقييم، والكود المصدري عبر الرابط التالي: \url{https://github.com/Event-AHU/COESOT}.