HS3-Bench: معيار وخط أساس قوي للفصل الدلالي للصور الفائقة الطيفية في سيناريوهات القيادة

التفصيل الدلالي (Semantic Segmentation) هو خطوة أساسية للكثير من تطبيقات الرؤية بهدف فهم المشهد والأشياء الموجودة فيه. التقدم الحديث في تقنية التصوير الفائق الطيفي (Hyperspectral Imaging) مكّن من تطبيق هذه التقنية في سيناريوهات القيادة، مع الأمل في أن توفر قدرات الاستشعار للجهاز ميزة على الكاميرات ذات الألوان الحمراء والخضراء والزرقاء (RGB). رغم وجود بعض القواعد البيانات، إلا أنه لا يوجد معيار قياسي يمكن استخدامه بشكل منهجي لقياس التقدم في هذا المهمة وتقييم فائدة البيانات الفائقة الطيفية. في هذا البحث، نسعى إلى سد هذه الثغرة بتقديم معيار التفصيل الدلالي الفائق الطيفي (HS3-Bench). يجمع هذا المعيار صورًا فائقة الطيف تم تصنيفها من ثلاثة قواعد بيانات لسيناريوهات القيادة ويوفر مقاييس ومعايير تنفيذ وتقييم موحدة. نستخدم المعيار لاستنتاج نموذجين أساسيين قويين يتفوقان على أداء النماذج السابقة الأكثر تقدماً بوجود أو عدم وجود التدريب المسبق على القواعد البيانات الفردية. بالإضافة إلى ذلك، تشير نتائجنا إلى أن الأساليب القائمة على التعلم الحالية تستفيد أكثر من استخدام بيانات التدريب الإضافية ذات الألوان الحمراء والخضراء والزرقاء (RGB) أكثر مما تستفيد من استخدام القنوات الفائقة الطيفية الإضافية. هذا يطرح أسئلة مهمة للمستقبل بشأن البحث حول التصوير الفائق الطيفي للتفصيل الدلالي في سيناريوهات القيادة. يمكن الحصول على الشفرة البرمجية لتشغيل المعيار والنماذج الأساسية القوية من الرابط التالي: https://github.com/nickstheisen/hyperseg.