HS3-Bench: Eine Referenz und starke Baseline für die hyperspektrale semantische Segmentierung in Fahrzeug-Szenarien

Die semantische Segmentierung ist ein wesentlicher Schritt für viele visuelle Anwendungen, um eine Szene und die darin enthaltenen Objekte zu verstehen. Fortschritte in der Hyperspektralbildgebung ermöglichen inzwischen die Anwendung dieser Technologie in Fahrzeug-Szenarien, wobei die Hoffnung besteht, dass die wahrnehmenden Fähigkeiten der Geräte einen Vorteil gegenüber RGB-Kameras bieten. Obwohl einige Datensätze bereits existieren, gibt es bisher keinen Standard-Referenztest, um den Fortschritt bei dieser Aufgabe systematisch zu messen und den Nutzen von Hyperspektral-Daten zu evaluieren. In dieser Arbeit schließen wir diese Lücke, indem wir den Hyperspektralen Semantischen Segmentierungs-Referenztest (HS3-Bench) bereitstellen. Dieser kombiniert annotierte Hyperspektralbilder aus drei Datensätzen von Fahrzeug-Szenarien und bietet standardisierte Metriken, Implementierungen und Evaluationsprotokolle. Wir nutzen den Referenztest, um zwei starke Baseline-Modelle abzuleiten, die sowohl mit als auch ohne Vorabtraining auf den einzelnen Datensätzen die bisherigen Stand-von-der-Kunst-Leistungen übertreffen. Zudem deuten unsere Ergebnisse darauf hin, dass bestehende lernbasierte Methoden mehr profitieren, wenn sie zusätzliche RGB-Trainingsdaten nutzen als wenn sie die zusätzlichen Hyperspektralkanäle nutzen. Dies stellt wichtige Fragen für zukünftige Forschung zur Hyperspektralbildgebung für die semantische Segmentierung in Fahrzeug-Szenarien. Der Code zum Ausführen des Referenztests und der starken Baseline-Ansätze ist unter https://github.com/nickstheisen/hyperseg verfügbar.