LOCATE: اكتشاف الكائنات ذاتية التدريب من خلال التقطيع الرسومي الموجه بالتدفق والتدريب الذاتي المُعزَّز

التقسيم الكائنات التعلّمية في مجموعات الصور والفيديوهات دون إشراف بشري يُعدّ مشكلة صعبة. يُمكن للبشر تحديد الكائنات البارزة المتحركة في الفيديوهات بسهولة باستخدام مبدأ "القدر المشترك" (Gestalt Principle of Common Fate)، والذي يشير إلى أن ما يتحرك معًا يُعتبر جزءًا واحدًا. مستندين إلى هذه الفكرة، نقترح منهجية اكتشاف كائنات ذاتية التدريب (self-supervised object discovery) تُستخدِم معلومات الحركة والملامح لتكوين قناعات تقسيم كائنات عالية الجودة. وبشكل محدد، نعيد تصميم طريقة قطع الرسم البياني التقليدية في الصور بحيث تدمج معلومات الحركة في تركيب خطي مع معلومات المظهر لتحديد أوزان الحواف. وبشكل لافت، يُنتج هذا الخطوة قناعات تقسيم كائنات تُقاس بأعلى المستويات المحققة حاليًا على عدة معايير معيارية. ولتحسين الأداء أكثر، نُشغّل شبكة تقسيم مدربة على هذه القناعات الأولية، المُعتبرة كأرضيات افتراضية (pseudo-ground truths)، لتعلم من إخراجاتها الخاصة عبر التدريب الذاتي (self-training). نُظهر فعالية منهجنا، المُسمّى LOCATE، على العديد من المعايير القياسية لتقسيم الكائنات في الفيديو، وتحديد البارزية في الصور، وتقسيم الكائنات، حيث تُحقق النتائج مقارنة مباشرة مع أحدث الأساليب، وفي العديد من الحالات تفوقها. كما نُظهر قابلية انتقالية منهجنا إلى بيئات جديدة من خلال دراسة نوعية على صور من البيئة الحقيقية (in-the-wild). بالإضافة إلى ذلك، نقدّم تحليلًا واسعًا للحذف (ablation analysis) لدعم اختيار التصميمات لدينا وتسليط الضوء على مساهمة كل عنصر من عناصر المنهج المقترح.