Command Palette
Search for a command to run...
{and Sylvie Daniel Philippe Giguère Olivier Stocker Reza Mahmoudi Kouhi}
要約
SegContrastは屋外点群における対照学習の道を開いた。当初の定式化は、自動運転や物体検出などの応用において個々のスキャンを対象としていた。しかし、デジタルツイン都市や都市計画といったモバイルマッピングの目的には、屋外環境に存在する複雑さと多様性を十分に捉えるために、大規模かつ高密度のデータセットが不可欠である。本論文では、SegContrast手法を再検討し、モバイルマッピングデータセットに伴う制約、特に対照ペアの不足とメモリ制約を克服するための適応を試みた。対照ペアの不足を解消するために、異種データセットの統合を提案する。しかし、各データセットの点群サイズや点数の多様性により、単純な統合は困難である。そこで、メモリ制約に配慮しつつ、多数のセグメントを生成できるように最適化されたデータ拡張手法を設計した。この手法はCLOUDSPAMと呼ばれる。CLOUDSPAMは、小規模および大規模なモバイルマッピング点群の両方において、自己教師付きモデルの性能を保証する。全体として、異なる密度およびクラス多様性を持つデータセットを活用することの利点が実証された。CLOUDSPAMはKITTI-360データセットにおいて最先端の性能を達成し、mIoUが63.6%を記録した。また、Toronto-3Dデータセットでは2位の成績を収めた。さらに、ラベル付きデータのわずか10%を用いても、完全教師付き手法と比較して競争力ある結果を達成した。
ベンチマーク
| ベンチマーク | 方法論 | 指標 |
|---|---|---|
| 3d-semantic-segmentation-on-kitti-360 | CLOUDSPAM | Model size: 37.9M miou Val: 63.6 |
| 3d-semantic-segmentation-on-kitti-360 | DA-supervised | Model size: 37.9M miou Val: 64.1 |
| lidar-semantic-segmentation-on-paris-lille-3d | DA-supervised | mIOU: 0.638 |
| lidar-semantic-segmentation-on-paris-lille-3d | CLOUDSPAM | mIOU: 0.738 |
| semantic-segmentation-on-toronto-3d-l002 | CLOUDSPAM | mIoU: 71.8 |
| semantic-segmentation-on-toronto-3d-l002 | DA-supervised | mIoU: 69.3 |