ガイデッドカリキュラムモデルの適応と不確実性を考慮した評価手法について - セマンティックナイトタイム画像セグメンテーションへの適用

多くの意味分割の進展は、好条件の照明下で撮影された昼間の画像に関する報告にとどまっています。本研究では、そのような昼間のモデルを夜間のアノテーションを使用せずに夜間に適応させることにより、夜間画像の意味分割問題に取り組み、最先端技術を改善します。さらに、夜間画像における意味の大幅な不確実性に対処するための新しい評価フレームワークを設計しました。私たちの中核的な貢献は以下の通りです：1) ラベル付き合成画像とラベルなし実画像を用いて、徐々に昼間から夜間に意味分割モデルを適応させるカリキュラムフレームワーク。このフレームワークは、時間帯が段階的に暗くなるにつれて対応関係を持つ実画像のクロスタイムオブコリデンス（cross-time-of-day correspondences）を利用して、それらのラベル推論をガイドします。2) 悪条件下での評価に設計され、人間が認識できない画像領域も原理的に評価に含める新しい不確実性認識型アノテーションおよび評価フレームワークと指標。3) Dark Zurichデータセット。これは2416枚のラベルなし夜間画像と2920枚のラベルなし薄暮時の画像から構成され、それらが昼間の対応画像との対応関係を持ちます。また、当社プロトコルに基づいて作成された151枚の細かいピクセルレベルアノテーション付き夜間画像も含まれており、これが初めて当社が提案する新たな評価を行うベンチマークとして機能します。実験結果は、当社が提案するガイダンス付きカリキュラム適応が標準的な指標や当社が開発した不確実性認識型指標においてともに既存の最先端手法よりも著しく優れていることを示しています。さらに、不確実性認識型評価は、予測値を選択的に無効化することで曖昧な内容を持つデータ（例えば当社の夜間ベンチマーク）においてより良い結果を得られることを明らかにし、無効な入力を含む安全志向アプリケーションにとって有益であることが示されました。