Faster R-CNN مع الوعي بالإضاءة للكشف المتين عن المشاة متعددي الطيف

صور متعددة الطيف للزوجات اللونية-الحرارية أثبتت فعاليتها أكثر من قناة لونية واحدة في اكتشاف المشاة، خاصة تحت ظروف الإضاءة الصعبة. ومع ذلك، لا تزال هناك نقص في الدراسات حول كيفية دمج الوسيلتين بشكل فعال. في هذا البحث، نقوم بمقارنة عميقة بين ستة هياكل مختلفة لدمج شبكات التحويل (Convolutional Network Fusion Architectures) ونحلل ملاءمتها، مما يمكّن الهيكل البسيط من الحصول على أداء اكتشاف مشابه لأحدث النتائج المعاصرة. بالإضافة إلى ذلك، اكتشفنا أن ثقة اكتشاف المشاة من الصور اللونية أو الحرارية مرتبطة بظروف الإضاءة. بناءً على هذا الاكتشاف، نقترح شبكة Faster R-CNN واعية بالإضاءة (Illumination-aware Faster R-CNN - IAF RCNN). تحديداً، تم تقديم شبكة واعية بالإضاءة لإعطاء قياس لإضاءة الصورة المدخلة. ثم ندمج الشبكات الفرعية اللونية والحرارية بشكل تكيفي عبر دالة بوابة معرفة بقيمة الإضاءة. تؤكد نتائج التجارب على مقاييس KAIST المتعددة الطيف للكشف عن المشاة فعالية IAF RCNN المقترحة.