단일 카메라에서의 360°: LiDAR 세그멘테이션을 위한 희소 샘플 기반 접근법

LiDAR 데이터에 적용되는 딥러닝 기반 응용 프로그램은 다양한 센서나 작업에 적용될 때 강한 도메인 갭을 경험한다. 이러한 방법들이 공개 벤치마크에서 보고된 성능 수준과 유사한 정확도를 다른 데이터에서 달성하기 위해서는 대규모의 주석이 달린 데이터셋이 필요하다. 그러나 실용적 응용에서는 레이블이 붙은 데이터를 확보하는 것이 비용이 많이 들고 시간이 오래 걸린다. 이러한 요인들은 레이블 효율적인 방법에 대한 다양한 연구를 촉발시켰지만, 여전히 완전히 감독된 대비 방법들과 큰 격차가 존재한다. 따라서 우리는 레이블 효율적인 LiDAR 세그멘테이션을 위한 효과적이고 간결한 소수 샘플(few-shot) 접근법인 ImageTo360을 제안한다. 본 방법은 이미지 교사 네트워크를 활용하여 단일 카메라 시야 내에서 LiDAR 데이터에 대한 의미론적 예측을 생성한다. 이 교사 네트워크는 360° 데이터에 대한 선택적 미세조정을 수행하기 전에 LiDAR 세그멘테이션 학생 네트워크를 사전 훈련하는 데 사용된다. 본 방법은 점 수준에서 모듈러한 방식으로 구현되어 다양한 아키텍처로의 일반화가 가능하다. 제안된 방법은 현재까지의 레이블 효율적 방법들에 비해 성능을 개선하였으며, 일부 전통적인 완전 감독 세그멘테이션 네트워크의 성능을 초과하기도 한다.