ICAFusion: التجميع التكراري للخصائص بارشاد الانتباه المتقاطع للكشف عن الأشياء متعددة الطيف

الدمج الفعال للخصائص في الصور متعددة الطيف يلعب دورًا حاسمًا في اكتشاف الأشياء متعددة الطيف. وقد أظهرت الدراسات السابقة فعالية استخدام الشبكات العصبية التلافيفية في دمج الخصائص، ولكن هذه الطرق تكون حساسة لخلل ترتيب الصور بسبب النقص المتأصل في التفاعل المحلي للخصائص، مما يؤدي إلى تدهور الأداء. لحل هذه المشكلة، تم اقتراح إطار جديد لدمج الخصائص باستخدام متحولات (Transformers) ثنائية العناية المتبادلة (Cross-Attention) لنمذجة التفاعل العالمي للخصائص وتقاطع المعلومات المكملة عبر الأطياف المختلفة بشكل متزامن. يعزز هذا الإطار قدرة تمييز خصائص الأشياء من خلال آلية العناية المتبادلة الموجهة بالاستفسار (Query-Guided Cross-Attention)، مما يؤدي إلى تحسين الأداء. ومع ذلك، فإن تراكيب كتل المتحولات المتعددة لتعزيز الخصائص تتسبب في زيادة كبيرة في عدد المعالم والتعقيد الفضائي. لمعالجة هذا الأمر، مستوحىً من عملية مراجعة المعرف لدى الإنسان، تم اقتراح آلية تفاعل تكرارية لتشارك المعالم بين المتحولات متعددة الأطياف على مستوى الكتل، مما يقلل من تعقيد النموذج وتكلفة الحساب. يعتبر الطريقة المقترحة عامة وفعالة ويمكن دمجها في مختلف الإطارات الاكتشافية واستخدامها مع مختلف الهياكل الأساسية (Backbones). أظهرت نتائج التجارب على مجموعات البيانات KAIST وFLIR وVEDAI أن الطريقة المقترحة حققت أداءً أفضل وأسرع في الاستدلال، مما يجعلها مناسبة لمختلف السيناريوهات العملية. سيتم توفير الرمز البرمجي على الرابط https://github.com/chanchanchan97/ICAFusion.