Command Palette
Search for a command to run...
إزالة ثم اختيار: منظور تجميع خشن إلى دقيق للكشف عن الكائنات في الصور الملونة والأشعة تحت الحمراء
إزالة ثم اختيار: منظور تجميع خشن إلى دقيق للكشف عن الكائنات في الصور الملونة والأشعة تحت الحمراء
Tianyi Zhao Maoxun Yuan Feng Jiang Nan Wang Xingxing Wei
الملخص
في السنوات الأخيرة، أصبح الكشف عن الأجسام باستخدام الصور المرئية (RGB) والصور تحت الحمراء الحرارية (IR) محط اهتمام واسع، وتم تطبيقه على نطاق واسع في مجموعة متنوعة من المجالات. وباستغلال الخصائص المكملة بين صور RGB وصورة IR، يمكن تحقيق تحديد موثوق وقوي للمواقع في ظل ظروف إضاءة متفاوتة، بدءًا من البيئات النهارية وحتى الليلية. ومع ذلك، فإن معظم الطرق الحالية للكشف عن الأجسام متعددة الوسائط تقوم بإدخال صور RGB وIR مباشرة إلى الشبكات العصبية العميقة، مما يؤدي إلى أداء كشف أقل فعالية. نعتقد أن هذه المشكلة ناتجة ليس فقط عن التحديات المرتبطة بدمج المعلومات متعددة الوسائط بشكل فعّال، بل أيضًا عن وجود ميزات زائدة في كل من الوسائط RGB وIR. فالمعلومات الزائدة في كل وسائط تُفاقم مشاكل عدم الدقة في عملية الدمج أثناء الانتشار. ولحل هذه المشكلة، اقتبسنا فكرة آلية معالجة المعلومات متعددة الوسائط في الدماغ البشري، واقترحنا منظورًا جديدًا يبدأ من العام إلى الخاص، بهدف تنقية ودمج الميزات من كلا الوسائط. وبشكل محدد، استنادًا إلى هذا المنظور، صممنا وحدة إزالة الطيف الزائد (Redundant Spectrum Removal) لإزالة المعلومات المزعجة داخل كل وسائط بشكل أولي، ووحدة اختيار الميزات الديناميكية (Dynamic Feature Selection) لاختيار الميزات المرغوبة بدقة لعملية الدمج. ولإثبات فعالية استراتيجية الدمج من العام إلى الخاص، قمنا ببناء كاشف كائن جديد يُسمى "كاشف الإزالة ثم الاختيار" (Removal then Selection Detector - RSDet). وتوّفر التجارب الواسعة على ثلاث مجموعات بيانات للكشف عن الأجسام باستخدام صور RGB وIR أداءً متميزًا لطرقنا.