カリキュラムモデルの適応：意味的な霧状シーン理解のための合成データと実際のデータを使用したアプローチ

本研究は、霧状態における意味的なシーン理解の問題に取り組んでいます。意味的なシーン理解においては、著しい進歩が見られますが、主に晴天時のシーンに焦点を当てています。屋外応用のために、霧などの悪条件下での意味的セグメンテーション手法の拡張は極めて重要です。本論文では、Curriculum Model Adaptation（CMAda）と呼ばれる新しい方法を提案します。この方法は、ラベル付きの合成霧データとラベルなしの実際の霧データを用いて、軽度の合成霧から重度の実際の霧へと段階的に意味的セグメンテーションモデルを適応させる多段階プロセスに基づいています。中程度の悪条件（軽い霧）下での意味的セグメンテーション結果が、高度な悪条件（濃い霧）下での同じ問題解決に活用できるという事実に基づいています。CMAdaは他の悪条件下にも拡張可能であり、合成データとラベルなしの実際データを使用した学習的新パラダイムを提供します。さらに、以下の3つの主要な独立した貢献についても述べます：1) 意味的情報を使用して晴天時の実際シーンに合成霧を追加する新しい手法；2) 新しい霧密度推定器；3) 深度情報を使用せずに実際の霧シーン内の霧密度を増大させる新しい手法；および4) 40枚の濃い霧下でピクセルレベルの意味的アノテーションが付与された3808枚の実際の霧画像を含むFoggy Zurichデータセット。我々の実験結果は以下の通りです：1) 我々の雾シミュレーションと雾密度推定器は、意味的な雾场景理解（SFSU）タスクにおいて現行最先端技術よりも優れた性能を示しています；2) CMAdaはSFSU向けの現行最先端モデルの性能を大幅に向上させ、我々が生成した合成及び実際の雾データから恩恵を受けていることが確認できました。データセットとコードはプロジェクトウェブサイトで公開されています。