2D 특징 증류를 이용한 약간 및 반감독 3D 의미 분할

3D 인식 문제의 인기가 증가하고 LiDAR 의미 분할을 위한 대규모 라벨링 데이터셋의 필요성이 커짐에 따라, 밀도 높은 주석의 필요성을 줄이기 위해 약간 감독된 학습을 사용하는 새로운 방법들이 등장하고 있습니다. 그러나 이러한 방법들은 여전히 작은 객체와 먼 거리에서 희소한 영역에 대한 경계 추정이 약하며, 높은 음성 오류율(false negative rate)을 보이고 있습니다. 우리는 이러한 약점을 RGB 이미지를 사용하여 보완할 수 있다고 주장합니다. RGB 이미지는 장면의 더 밀도 높은 표현을 제공하기 때문입니다.우리는 도메인 적응된 합성적으로 훈련된 2D 의미 분할 네트워크에서 고차원 특징 정보를 추출하는 아이디어를 기반으로 한 이미지 안내 네트워크(Image-Guidance Network, IGNet)를 제안합니다. 또한 두 센서 간의 수평 시야각 불일치(horizontal field-of-view mismatch)를 해결하고 이미지 안내 효과를 강화하기 위해 일방향 대조학습(one-way contrastive learning scheme)과 새로운 혼합 전략인 FOVMix를 활용합니다.IGNet는 ScribbleKITTI 데이터셋에서 약간 감독된 LiDAR 의미 분할에 있어 최고 수준의 성능을 달성하며, 단 8%의 라벨링 포인트만으로 완전히 감독된 학습에 비해 최대 98%의 상대적 성능을 자랑합니다. 이 과정에서 추론 시 추가적인 주석 부담이나 계산/메모리 비용이 발생하지 않습니다. 또한, 우리는 반감독 학습(semi-supervised training)에서도 우리의 기여가 효과적임을 입증하였으며, ScribbleKITTI와 SemanticKITTI 데이터셋 모두에서 IGNet가 최고 수준의 결과를 얻었습니다.