Command Palette
Search for a command to run...
{Ming Liu Weixun Zuo Yuxiang Sun}
要約
セマンティックセグメンテーションは自動運転車両における基盤的な機能である。近年、ディープラーニング技術の進展に伴い、多くの効果的なセマンティックセグメンテーションネットワークが提案されている。しかし、これらの多くは可視カメラからのRGB画像を主に用いて設計されている。RGB画像の品質は、暗闇や対向車両のヘッドライトによる眩しさなど、不適切な照明条件下で著しく低下する傾向があり、これによりRGB画像のみを用いるネットワークに重大な課題が生じる。可視カメラとは異なり、熱画像カメラは赤外線放射を利用して画像を生成するため、さまざまな照明条件下でも視認が可能である。自動運転車両における堅牢かつ高精度なセマンティックセグメンテーションを実現するため、本研究では熱画像の利点を活かし、新たな深層ニューラルネットワークにおいてRGB情報と熱画像情報を統合する手法を採用した。本論文の主な貢献は、提案するネットワークのアーキテクチャにある。エンコーダ-デコーダ構造を採用し、特徴抽出にはResNetを用い、特徴マップの解像度を復元するための新しいデコーダを独自に開発した。実験結果から、本ネットワークが最先端の手法を上回ることを実証した。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| semantic-segmentation-on-gamus | RTFNet | mIoU: 58.26 |
| semantic-segmentation-on-syn-udtiri | RTFNet | IoU: 90.50 |
| semantic-segmentation-on-synthetic-bathing | RTFNet | mIoU: 87.49 |
| thermal-image-segmentation-on-kp-day-night | RTFNet | mIoU: 28.7 |
| thermal-image-segmentation-on-mfn-dataset | RTFNet | mIOU: 53.2 |
| thermal-image-segmentation-on-noisy-rs-rgb-t | RTFNet | mIoU: 48.5 |
| thermal-image-segmentation-on-pst900 | RTFNet | mIoU: 57.6 |
| thermal-image-segmentation-on-rgb-t-glass | RTFNet | MAE: 0.058 |