المتنبئ التكيفي متعدد المصادر للتفصيل الكائنات في الفيديو بدون تدريب مسبق

تظهر الأشياء الثابتة والمتحركة غالبًا في مقاطع الفيديو الحقيقية. تركز معظم طرق تقسيم أشياء الفيديو على استخراج واستغلال مؤشرات الحركة لاكتشاف الأشياء المتحركة. ومع ذلك، عند مواجهتها بإطارات تحتوي على أشياء ثابتة، قد تتنبأ أدوات التنبؤ بالأجسام المتحركة بنتائج غير دقيقة ناجمة عن معلومات حركة غير مؤكدة، مثل خرائط التدفق البصري ذات الجودة المنخفضة. بالإضافة إلى ذلك، يمكن لمصادر مختلفة مثل RGB والعمق والتدفق البصري والتباين الساكن أن توفر معلومات مفيدة عن الأجسام. ومع ذلك، فإن الطرق الحالية تأخذ بعين الاعتبار إما مصدر RGB أو مصدر RGB مع التدفق البصري.في هذا البحث، نقترح نموذجًا جديدًا للتنبؤ متعدد المصادر بشكل متكيف لتقسيم أشياء الفيديو دون الحاجة إلى تعلم سابق (ZVOS). في أداة التنبؤ بالأشياء الثابتة، يتم تحويل مصدر RGB إلى مصدرين هما العمق والتباين الساكن في آن واحد. أما في أداة التنبؤ بالأجسام المتحركة، فقد اقترحنا هيكل دمج متعدد المصادر. أولًا، يتم تسليط الضوء على الأهمية المكانية لكل مصدر بمساعدة وحدة الانتباه المكاني الذاتي (ISAM). ثانيًا، تم تصميم وحدة تعزيز الحركة (MEM) لإنشاء انتباه حركي خالص للخلفية لتحسين تمثيل الخصائص الثابتة والمتحركة في المفكك. علاوة على ذلك، قمنا بتصميم وحدة تنقية الخصائص (FPM) لتصفية الخصائص غير المتوافقة بين المصادر. من خلال استخدام ISAM وMEM وFPM، يتم دمج الخصائص متعددة المصادر بكفاءة.بالإضافة إلى ذلك، قدمنا شبكة دمج التنبؤ المتكيفة (APF) لتقييم جودة خريطة التدفق البصري ولدمج التوقعات من أداة التنبؤ بالأشياء الثابتة وأداة التنبؤ بالأجسام المتحركة من أجل منع الاعتماد الزائد على النتائج الفاشلة التي تسببها خرائط التدفق البصري ذات الجودة المنخفضة. تظهر التجارب أن النموذج المقترح يتفوق على أفضل الأساليب الحالية في ثلاثة مقاييس صعبة لـ ZVOS. كما أن أداة التنبؤ بالأشياء الثابتة تتوقع خريطة عمق عالية الجودة وخريطة تباين ساكن بدقة عالية في الوقت نفسه.