Command Palette
Search for a command to run...
{Theo Gevers ShaoDi You Qi Bi}
要約
一日を通じてシーンの外観は著しく変化する。既存のセマンティックセグメンテーション手法は、明るい昼間の状況に主に焦点を当てており、このような顕著な外観変化に対応するように設計されていない。ドメイン適応(domain adaptation)を単純に適用しても、この問題は解決しない。なぜなら、通常のドメイン適応はソースドメインとターゲットドメインの間で固定されたマッピングを学習するため、日中の明け方から夜間までを含む全天候的な状況における一般化能力に限界があるからである。本研究では、既存の手法とは異なり、画像の形成そのものに着目することでこの課題に取り組む。ここで画像の外観は、内在的性質(例:セマンティックカテゴリ、構造)と外在的性質(例:照明条件)の両方に依存している。この観点から、新たな内在的・外在的相互作用学習戦略を提案する。本戦略の核心は、空間的にガイドされた条件下で、内在的表現と外在的表現の間で相互作用を学習することにある。これにより、内在的表現はより安定化し、同時に外在的表現は変化をより正確に捉える能力を高める。その結果、洗練された画像表現が得られ、全天候的な状況においてもピクセル単位の予測をより頑健に生成できるようになる。この目標を達成するために、エンドツーエンドで学習可能な「ワン・イン・ワン・セグメンテーションネットワーク(All-in-One Segmentation Network, AO-SegNet)」を提案する。本研究では、実データセット3つ(Mapillary、BDD100K、ACDC)および提案する合成データセット「All-day CityScapes」を用いた大規模な実験を実施した。提案手法であるAO-SegNetは、様々なCNNおよびViTバックボーンを用いた状況において、すべてのデータセットで最先端の手法と比較して顕著な性能向上を示した。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| all-day-semantic-segmentation-on-all-day | AO-SegNet (Swin-Base) | mIoU: 78.6 |
| semantic-segmentation-on-mapillary-val | AO-SegNet | mIoU: 76.0 |