HS3-Bench : Un jeu de référence et une ligne de base solide pour la segmentation sémantique hyperspectrale dans les scénarios de conduite

La segmentation sémantique est une étape cruciale pour de nombreuses applications en vision afin de comprendre une scène et les objets qu'elle contient. Les récentes avancées dans la technologie d'imagerie hyperspectrale permettent son application dans des scénarios de conduite, avec l'espoir que les capacités perceptives de ces dispositifs offrent un avantage par rapport aux caméras RGB. Bien que certains ensembles de données existent, il n'y a pas de benchmark standard disponible pour mesurer systématiquement les progrès sur cette tâche et évaluer l'avantage des données hyperspectrales. Dans cet article, nous travaillons à combler cette lacune en fournissant le benchmark de Segmentation Sémantique Hyperspectrale (HS3-Bench). Celui-ci combine des images hyperspectrales annotées provenant de trois ensembles de données de scénarios de conduite et fournit des métriques, des implémentations et des protocoles d'évaluation standardisés. Nous utilisons ce benchmark pour développer deux modèles baselines robustes qui surpassent les performances précédentes de l'état de l'art, avec ou sans pré-entraînement sur les ensembles de données individuels. De plus, nos résultats suggèrent que les méthodes actuelles basées sur l'apprentissage profitent davantage de l'utilisation de données d'entraînement supplémentaires RGB que des canaux hyperspectraux supplémentaires. Cela soulève des questions importantes pour la recherche future sur l'imagerie hyperspectrale pour la segmentation sémantique dans les scénarios de conduite. Le code pour exécuter le benchmark et les approches baselines robustes est disponible sous https://github.com/nickstheisen/hyperseg.