تمثيل الزجاج باستخدام أزواج الصور الملونة والحرارية

يقترح هذا البحث طريقة جديدة لتقسيم الزجاج باستخدام صور RGB وحرارية مزدوجة. نظرًا للفرق الكبير بين خصائص انتقال الضوء المرئي والطاقة الحرارية عبر الزجاج، حيث يكون معظم الزجاج شفافًا للضوء المرئي ولكن غير شفاف للطاقة الحرارية، فإن مناطق الزجاج في المشهد تصبح أكثر تميزًا عند استخدام زوج من الصور RGB والحرارية مقارنة باستخدام صورة RGB وحدها. للاستفادة من هذه الخاصية الفريدة، نقترح هندسة شبكة عصبية تجمع بكفاءة زوج الصور RGB-الحرارية مع وحدة دمج متعددة الأوضاع جديدة تعتمد على الانتباه (attention)، وندمج بين CNN والترانسفورمر (transformer) لاستخراج الخصائص المحلية والارتباطات غير المحلية، على التوالي. كما قمنا بتجميع مجموعة بيانات جديدة تحتوي على 5551 زوجًا من الصور RGB-الحرارية مع شروحات تقسيم حقيقية. تظهر التقييمات النوعية والكمية فعالية النهج المقترح في دمج البيانات RGB والحرارية لتقسيم الزجاج. يمكن الوصول إلى كودنا ومجموعتنا من البيانات عبر الرابط: https://github.com/Dong-Huo/RGB-T-Glass-Segmentation.