UnOVOST: التجزئة والتعقب الآلي للأجسام في الفيديو غير المُراقبة والمتوقفة

نعالج مهمة التجزئة غير المراقبة لكائنات الفيديو (UVOS)، وهي المهمة التي تتمثل في إنتاج أقنعة بكسل دقيقة لكائنات بارزة في تسلسل فيديو وتعقب هذه الكائنات بشكل متسق عبر الزمن، دون أي مدخلات حول الكائنات التي ينبغي تعقبها. من أجل حل هذه المهمة، نقدّم خوارزمية UnOVOST (التجزئة والتعقب غير المراقبة للكائنات في الفيديو، من نوع خارج الزمن) كخوارزمية بسيطة وعامة قادرة على تعقب وتمييز مجموعة واسعة من الكائنات. تعتمد هذه الخوارزمية على بناء المسارات عبر مراحل متعددة، حيث تبدأ بدمج الأجزاء (القطع) في "مسارات قصيرة" (tracklets) متسقة فضائياً وزمنياً، ثم تدمج هذه المسارات القصيرة إلى مسارات طويلة الأمد متسقة من حيث الكائنات، بناءً على تشابهها البصري. لتحقيق ذلك، نقدّم خوارزمية جديدة تعتمد على المسارات (tracklet-based) لقطع المسارات الغابات (Forest Path Cutting) لربط البيانات، والتي تبني غابة قرارات من احتمالات المسارات قبل قطع هذه الغابة إلى مسارات تشكل مسارات كائنات متسقة على المدى الطويل. عند تقييم منهجنا على مجموعة بيانات DAVIS 2017 غير المراقبة، نحقق أداءً من الطراز الرائد بتحصيل متوسط درجة J & F بلغ 67.9% على مجموعة التحقق (val)، و58% على مجموعة test-dev، و56.4% على مجموعة test-challenge، ما يمنحنا المركز الأول في مسابقة DAVIS 2019 للتجزئة غير المراقبة لكائنات الفيديو. وعلاوة على ذلك، تُظهر UnOVOST أداءً تنافسياً مع العديد من خوارزميات التجزئة غير المراقبة لكائنات الفيديو، رغم أنها لا تتلقى أي مدخلات حول الكائنات التي ينبغي تعقبها أو تجزئتها.