التعقب والتقسيم السريع للأشياء عبر الإنترنت: نهج موحد

في هذا البحث، نوضح كيفية تنفيذ تتبع الكائنات البصرية والتقسيم شبه المشرف للكائنات في الفيديو بشكل فعلي وفي الوقت الحقيقي باستخدام منهجية بسيطة واحدة. طريقتنا، التي أطلقنا عليها اسم SiamMask، تحسن إجراء التدريب خارج الخط (offline) للمناهج الشائعة ذات الطبيعة السيميزية الكاملة والمتلافقة (fully-convolutional Siamese) المستخدمة في تتبع الكائنات بإضافة مهمة تقسيم ثنائية إلى دال الخسارة (loss function). بمجرد الانتهاء من التدريب، تعتمد SiamMask فقط على تهيئة صندوق الحدود الأولي الواحد وتقوم بالعمل في الوقت الحقيقي، مما ينتج عنه أقنعة تقسيم كائنات غير مرتبطة بالنوع (class-agnostic) وصناديق حدود مدورّة بمعدل 55 إطارًا في الثانية. رغم بساطتها ومرونتها وسرعتها العالية، فإن استراتيجيتنا تمكننا من تحقيق أفضل مستوى جديد بين متعقبات الوقت الحقيقي على VOT-2018، بينما تظهر أيضًا أداءً تنافسيًا وأفضل سرعة للمهمة شبه المشرفة للتقسيم الفيديوي للكائنات على DAVIS-2016 وDAVIS-2017. يمكن الوصول إلى موقع المشروع عبر الرابط: http://www.robots.ox.ac.uk/~qwang/SiamMask.