الاستمرار البصري عالي الأداء باستخدام شبكة اقتراح منطقي متشابهة

تُعد تتبع الأشياء البصرية موضوعًا أساسيًا في السنوات الأخيرة، وقد حققت العديد من المُتتبعات المستندة إلى التعلم العميق أداءً متقدمًا على عدة معايير معيارية. ومع ذلك، فإن معظم هذه المتتبعات لا تتمكن من تحقيق أداءً متميزًا بسرعة حقيقية (real-time). في هذا البحث، نقترح شبكة اقتراح مناطق ذات نموذج سياميز (Siamese-RPN)، والتي تُدرَّب بشكل كامل (end-to-end) مسبقًا باستخدام أزواج صور على نطاق واسع. ويتكون هذا النموذج بشكل خاص من شبكة فرعية سياميز لاستخراج الميزات، وشبكة فرعية لاقتراح المناطق تشمل فرع التصنيف وفرع الانحدار. وفي مرحلة الاستدلال، يتم صياغة الإطار المقترح كمهمة كشف واحدة محلية (local one-shot detection). ويمكننا حساب فرع النموذج النموذجي (template branch) مسبقًا، وصياغ طبقات الارتباط (correlation layers) كطبقات تلافيف بسيطة (trivial convolution layers) لتنفيذ التتبع في الوقت الفعلي. وبفضل تحسين الاقتراحات (proposal refinement)، يمكن التخلي عن الطرق التقليدية مثل الاختبار متعدد المقاييس (multi-scale test) والضبط التلقائي في الوقت الفعلي (online fine-tuning). ويُعد Siamese-RPN قادرًا على العمل بسرعة 160 إطارًا في الثانية (FPS)، مع تحقيق أداءً متفوقًا في تحديات الوقت الحقيقي لـ VOT2015 وVOT2016 وVOT2017.