إعادة التفكير في اكتشاف الأشياء المشتركة البارزة

في هذا البحث، نقوم بدراسة شاملة حول مشكلة اكتشاف الأشياء المشتركة البارزة (CoSOD) في الصور. يعتبر CoSOD امتدادًا جديدًا وسريع النمو لمشكلة اكتشاف الأشياء البارزة (SOD)، والتي تهدف إلى اكتشاف الأشياء البارزة المشتركة في مجموعة من الصور. ومع ذلك، غالبًا ما تعاني مجموعات البيانات الحالية لـ CoSOD من تحيز بيانات خطير، حيث يُفترض أن تحتوي كل مجموعة صور على أشياء بارزة ذات مظهر بصري متشابه. يمكن أن يؤدي هذا التحيز إلى تدهور فعالية النماذج المدربة على مجموعات البيانات الحالية في المواقف الحقيقية، حيث تكون التشابهات عادةً معنوية أو مفاهيمية.لحل هذه المشكلة، نقدم أولاً مقاييس جديدة تسمى CoSOD3k في الطبيعة، والتي تتطلب كمية كبيرة من السياق الدلالي، مما يجعلها أكثر تحديًا من مجموعات البيانات الحالية لـ CoSOD. يتكون CoSOD3k الخاص بنا من 3,316 صورة عالية الجودة ومختارة بدقة، مقسمة إلى 160 مجموعة مع توضيحات هرمية. تمتد هذه الصور عبر نطاق واسع من الفئات والأشكال وأحجام الأشياء والخلفيات. ثانيًا، ندمج التقنيات الحالية لـ SOD لإنشاء إطار عمل قابل للتدريب وموحد لـ CoSOD، وهو أمر طال انتظاره في هذا المجال. وبشكل خاص، نقترح شبكة جديدة تسمى CoEG-Net التي تعزز نموذجنا السابق EGNet باستراتيجية الإسقاط المشترك للانتباه (co-attention projection strategy)، مما يتيح التعلم السريع للمعلومات المشتركة. تستفيد CoEG-Net بشكل كامل من مجموعات البيانات الكبيرة السابقة لـ SOD وتحسن بشكل كبير قابلية توسيع النموذج واستقراره.ثالثًا، نلخص بشكل شامل 40 خوارزمية متقدمة ونبين أداء 18 منها على ثلاث مجموعات بيانات صعبة لـ CoSOD (iCoSeg وCoSal2015 وCoSOD3k الخاصة بنا)، ونقدم تحليل أداء أكثر تفصيلاً (أي على مستوى المجموعة). رابعًا وأخيرًا، نناقش التحديات والبحوث المستقبلية لـ CoSOD. نأمل أن يساهم بحثنا في دفع عجلة النمو في مجتمع CoSOD. يمكن الوصول إلى أدوات المقاييس والنتائج على صفحة مشروعنا عبر الرابط http://dpfan.net/CoSOD3K/.