الانقسام الكائنات في الفيديو غير المراقب باستخدام تتبع مركز الساخن المشترك

تُعدّ متابعة الكائنات مشكلة مُدرَّسة جيدًا في رؤية الحاسوب، بينما يظل تحديد النقاط البارزة للكائنات في الفيديو اتجاهًا أقل استكشافًا في الأدبيات العلمية. تسعى طرق تقدير اتجاهات النظر في الفيديو إلى معالجة مهمة ذات صلة، لكن النقاط البارزة في هذه الطرق ليست محدودة بالكائنات، وغالبًا ما تُنتج تنبؤات متشتتة وغير مستقرة بسبب بيانات الحقيقة الأساسية الضوضائية. نعيد صياغة مشكلة كشف وتتبع النقاط البارزة للكائنات كمهمة جديدة تُعرف بـ "تتبع مناطق السخونة للكائنات" (Object Hotspot Tracking). في هذه الورقة، نقترح معالجة هذه المهمة بشكل مشترك مع تقسيم كائنات الفيديو غير المراقب (Unsupervised Video Object Segmentation) في الزمن الحقيقي، باستخدام إطار عمل موحد للاستفادة من التآزر بين المهمتين. وبشكل خاص، نُقدّم شبكة سياموسية تعتمد على الترابط الموزون (WCS-Net)، والتي تستخدم بلوك الترابط الموزون (WCB) لتمثيل الت corresponder بين بكسلات الإطار النموذجي والإطار البحثي. بالإضافة إلى ذلك، يستخدم WCB القناع الأولي/منطقة السخونة كمرشد لتعزيز تأثير المناطق البارزة، مما يُعزز من قدرة التتبع على التحمل. يمكن لنظامنا العمل بشكل مباشر أثناء الاستدلال، ويُنتج بشكل مشترك قناع الكائن ومسارات تتبع مناطق السخونة بسرعة 33 إطارًا في الثانية (FPS). تُظهر النتائج التجريبية فعالية تصميم الشبكة المقترحة، كما تُظهر الفوائد الناتجة عن حل مشكلتي تتبع مناطق السخونة وتقسيم الكائنات بشكل مشترك. وبشكل خاص، تُظهر طريقة النموذج المُقترح أداءً أفضل من النماذج الحديثة لتقدير اتجاهات النظر في الفيديو في مهمة تتبع مناطق السخونة، كما تتفوّق على الطرق الحالية في ثلاث مجموعات بيانات معيارية لتقسيم كائنات الفيديو غير المراقب.