HS3-Bench: ドライビングシナリオにおける高光譜セマンティックセグメンテーションのベンチマークと強力なベースライン

セマンティックセグメンテーションは、シーンとその中の物体を理解するための多くのビジョン応用において重要なステップです。最近のハイパースペクトラルイメージング技術の進歩により、ドライビングシナリオでの応用が可能となり、これらのデバイスの認識能力がRGBカメラよりも優れていることが期待されています。しかし、いくつかのデータセットが存在するものの、このタスクにおける進歩を系統的に測定し、ハイパースペクトラルデータの利点を評価するための標準的なベンチマークはありません。本論文では、このギャップを埋めるためにHyperSpectral Semantic Segmentationベンチマーク（HS3-Bench）を提供します。これは3つのドライビングシナリオデータセットから得られたアノテートされたハイパースペクトラル画像を組み合わせ、標準化された指標、実装方法、および評価プロトコルを提供しています。私たちはこのベンチマークを使用して、個々のデータセットで事前学習を行った場合と行わない場合の両方で以前の最先端性能を超える2つの強力なベースラインモデルを導き出しました。さらに、我々の結果は既存の学習ベースの手法が追加のRGB訓練データからより大きな利益を得ていることを示しており、追加のハイパースペクトラルチャンネルからの利益よりも大きいということが明らかになりました。これは将来の研究においてドライビングシナリオでのセマンティックセグメンテーションに向けたハイパースペクトラルイメージングに関する重要な問いを提起しています。ベンチマークと強力なベースラインアプローチを実行するためのコードは、以下のURLから入手可能です: https://github.com/nickstheisen/hyperseg。