تلبية الأحداث والإطارات مع شبكة تحسين الميزات الهرمية للكشف عن الكائنات

في الرؤية القائمة على الإطارات، تواجه كشف الكائنات تدهورًا كبيرًا في الأداء في الظروف الصعبة بسبب القدرة المحدودة على الاستشعار الخاصة بالكاميرات التقليدية. أما كاميرات الأحداث، فتُخرِج أحداثًا نادرة وغير متزامنة، مما يُقدِّم حلًا واعدًا لمعالجة هذه المشكلات. ومع ذلك، لا يزال دمج نوعين مختلفين من البيانات بشكل فعّال مشكلة مفتوحة. في هذا العمل، نقترح شبكة تحسين هرمية جديدة لدمج بيانات الإطارات والأحداث. ويتمحور المفهوم الأساسي حول تصميم وحدة دمج من التفصيل الخشن إلى التفصيل الدقيق، وتُسمّى وحدة التحسين التكيفي للسمات عبر الوسائط (CAFR). في المرحلة الأولى، يُسهم الجزء المُسمّى التفاعل عبر الوسائط ثنائي الاتجاه (BCI) في بناء جسر للمعلومات بين مصدرين مختلفين. ثم، يتم تحسين السمات بشكل أكبر من خلال محاذاة المتوسط والانحراف المعياري على مستوى القنوات في الجزء المُسمّى التحسين التكيفي المزدوج للسمات (TAFR). أجرينا تجارب واسعة على مجموعتين من البيانات: مجموعة بيانات PKU-DDD17-Car ذات الدقة المنخفضة، ومجموعة بيانات DSEC ذات الدقة العالية. أظهرت النتائج التجريبية أن طريقة التصميم المقترحة تتفوّق على أحدث الطرق المُعلَنة بمقدار ملحوظ بلغ $\textbf{8.0}\%$ على مجموعة بيانات DSEC. علاوةً على ذلك، تُظهر طريقة العمل لدينا مقاومة أقوى بشكل ملحوظ (\textbf{69.5}\% مقابل \textbf{38.7}\%) عند تطبيق 15 نوعًا مختلفًا من التشويهات على صور الإطارات. يمكن العثور على الشفرة المصدرية عبر الرابط التالي: (https://github.com/HuCaoFighting/FRN).