Command Palette
Search for a command to run...
التحويلات التبادلية للتحليل غير المراقب لكائنات الفيديو
التحويلات التبادلية للتحليل غير المراقب لكائنات الفيديو
Shengfeng He Guoqiang Han Haoxin Chen Yongtuo Liu Wenxi Liu Sucheng Ren
الملخص
يهدف التجزئة غير المُراقبة للكائنات في الفيديوهات (UVOS) إلى تجزئة الكائنات الأساسية في الفيديوهات دون أي تدخل بشري. وبسبب انعدام المعرفة المسبقة حول الكائنات الأساسية، يُعد تحديد هذه الكائنات من الفيديوهات التحدي الرئيسي في UVOS. غالبًا ما تُعتبر الطرق السابقة الكائنات المتحركة ككائنات أساسية، وتستند إلى التدفق البصري (optical flow) لاستخراج ملامح الحركة في الفيديوهات، لكن معلومات التدفق وحدها لا تكفي لتمييز الكائنات الأساسية عن الكائنات الخلفية التي تتحرك معها. وذلك لأن دمج ملامح الحركة الضوضائية مع ملامح المظهر يؤدي إلى تشويه تحديد موقع الكائنات الأساسية. ولحل هذه المشكلة، نقترح شبكة تحويل متبادل جديدة لاستكشاف الكائنات الأساسية من خلال ربط ثلاثة عوامل رئيسية: التباين الداخلي للإطار (intra-frame contrast)، وملامح الحركة، والتواصل الزمني للكائنات المتكررة. وكل من هذه العوامل يمثل نوعًا مميزًا من الكائنات الأساسية، وتمكّن آلية التحويل المتبادل من تنسيق عضوي بينها، مما يُمكّن من إزالة التشتتات الغامضة من الفيديوهات بشكل فعّال. علاوةً على ذلك، لاستبعاد معلومات الكائنات الخلفية المتحركة من ملامح الحركة، يتيح لنا وحدة التحويل إجراء تحويل متبادل بين ملامح المظهر وملامح الحركة، بهدف تعزيز ملامح الحركة، بحيث يُركّز النظام على الكائنات المتحركة ذات المظهر البارز، ويستبعد الكائنات الخارجة عن النمط (co-moving outliers). أظهرت التجارب على المعايير العامة أداءً متفوّقًا بشكل كبير على الطرق الرائدة في المجال.