JL-DCF: إطار تعلم مشترك ودمج متعدد التعاون الكثيف للكشف عن الكائنات البارزة في الصور الملونة وصور العمق

تُقدّم هذه الورقة معمّلًا جديدًا للتعلم المشترك والاندماج الكثيف المتعاون (JL-DCF) للكشف عن الكائنات البارزة في الصور الملونة (RGB) والصور العميقة (D). تُعالج النماذج الحالية عادةً الصور الملونة والعمق كمعلومات مستقلة، وتُصمم شبكات منفصلة لاستخراج السمات من كل منهما. وقد تُعاني هذه النماذج من قيود ناتجة عن كمية محدودة من البيانات التدريبية أو الاعتماد المفرط على عمليات تدريب معقدة ودقيقة. في المقابل، يتعلم نموذجنا JL-DCF من المدخلات الملونة والعمق معًا من خلال شبكة سيماسية (Siamese network). ولتحقيق ذلك، نقترح مكونين فعّالين: التعلم المشترك (JL)، وتقنية الاندماج الكثيف المتعاون (DCF). يوفّر وحدة التعلم المشترك (JL) تعلمًا قويًا للسمات البارزة، بينما تُستخدم وحدة الاندماج الكثيف المتعاون (DCF) لاكتشاف السمات المكملة. أظهرت التجارب الشاملة على أربع مقاييس شائعة أداءً ممتازًا للإطار المُصمَّم، حيث يُنتج كاشفًا قويًا للكائنات البارزة في الصور RGB-D مع قدرة تعميم جيدة. في النتيجة، يُحسّن نموذج JL-DCF بشكل ملحوظ نموذج D3Net المتصدر (Top-1) بمتوسط قدره حوالي 1.9% (مقياس S-measure) عبر ستة مجموعات بيانات صعبة، مما يدل على أن الإطار المقترح يقدّم حلًا واعدًا للتطبيقات الواقعية، ويسهم في فهم أعمق لمهام التكامل بين الوسائط المختلفة. سيتم إتاحة الكود على الرابط التالي: https://github.com/kerenfu/JLDCF/.