2D 特徴蒸留法を用いた弱教師付きおよび半教師付き 3D セマンティックセグメンテーション

3D認識問題の人気の高まりとLiDARセマンティックセグメンテーション用の大規模ラベル付きデータセットの必要性の増大に伴い、弱教師あり学習を用いて濃密なアノテーションの必要性を軽減することを目指した新しい手法が登場しています。しかし、これらの手法は依然として小さな物体や遠くにある疎な領域での境界推定の精度が低く、偽陰性率が高いという弱点を持っています。私たちは、RGB画像がシーンのより濃密な表現を提供するため、このような弱点を補うことができると考えています。本稿では、ドメイン適応された合成訓練2Dセマンティックセグメンテーションネットワークから高レベル特徴情報を抽出するアイデアに基づいた画像ガイダンスネットワーク（IGNet）を提案します。さらに、水平視野角の不一致を解消し、画像ガイダンスの効果を強化するために、一方向コントラスト学習スキームと新たなミキシング戦略であるFOVMix（Field of View Mix）を利用します。IGNetはScribbleKITTIにおいて弱教師ありLiDARセマンティックセグメンテーションで最先端の結果を達成しており、わずか8%のラベル付きポイントだけで完全教師あり学習に匹敵する最大98%の相対性能を誇ります。推論時には追加的なアノテーション負担や計算・メモリコストを導入せずにこの性能を達成しています。また、 IGNetが半教師あり学習でも有効であることを示しており、ScribbleKITTIとSemanticKITTIでともに最先端の結果を得ています。