ShareCMP: التصنيف الثنائي للصورة RGB-P المستشعر بالانحياز القطبي

تنمو التصنيف الشامل متعدد الوسائط بسرعة، لكن وسيلة الصورة RGB-P تظل مُستكشَفة بشكل محدود. وللتفتيش في هذا التحدي، قمنا ببناء معيار UPLight RGB-P للتصنيف الشامل، يضم 12 فئة شائعة من الفئات الشاملة تحت الماء. في هذا العمل، صممنا إطار ShareCMP، وهو إطار لتصنيف شامل RGB-P يعتمد على بنية ثنائية مشتركة، والذي يقلل عدد المعاملات بنسبة تصل إلى 26-33% مقارنةً بالنمذجة الثنائية السابقة. ويشمل هذا الإطار وحدة توليد انتباه الاستقطاب (PGA) المصممة لتوليد صور وسيلة الاستقطاب ذات خصائص استقطابية أكثر غنىً للـ Encoder. بالإضافة إلى ذلك، قمنا بطرح خسارة واعية بالاستقطاب حسب الفئة (CPALoss) لتحسين قدرة Encoder على تعلم وفهم معلومات وسيلة الاستقطاب، وتحديث وحدة PGA. وبإجراء تجارب واسعة على ثلاث معايير RGB-P، حقق إطار ShareCMP أداءً متقدمًا في مقياس mIoU مع عدد أقل من المعاملات على مجموعات البيانات UPLight (92.45% (+0.32))، وZJU (92.7% (+0.1))، وMCubeS (50.99% (+1.51)) مقارنةً بأفضل الطرق السابقة. يمكن الوصول إلى الكود من خلال الرابط: https://github.com/LEFTeyex/ShareCMP.