2달 전

MinkLoc++: 라이다와 단일 카메라 이미지 융합을 이용한 장소 인식

Komorowski, Jacek ; Wysoczanska, Monika ; Trzcinski, Tomasz
MinkLoc++: 라이다와 단일 카메라 이미지 융합을 이용한 장소 인식
초록

우리는 LiDAR에서 얻은 포인트 클라우드와 RGB 카메라에서 얻은 이미지를 기반으로 한 차별적 다중모달 디스크립터를 소개합니다. 이 디스크립터는 MinkLoc++로 명명되었으며, 로봇 공학이나 자율 주행 차량 응용 분야에서 장소 인식, 재위치 결정 및 루프 폐쇄 용도로 사용될 수 있습니다. 우리는 각 모달을 별도로 처리하고 처리 파이프라인의 마지막 부분에서 융합하는 후기 융합 접근 방식을 사용합니다. 제안된 방법은 표준 장소 인식 벤치마크에서 최고 수준의 성능을 달성하였습니다. 또한, 다중모달 디스크립터를 학습할 때 지배적인 모달 문제를 식별하였습니다. 이 문제는 네트워크가 훈련 데이터에 대한 과적합이 더 큰 모달에 집중할 때 나타납니다. 이는 훈련 중 손실을 낮추지만, 평가 세트에서는 최적의 성능을 내지 못하게 됩니다. 본 연구에서는 깊은 메트릭 학습 접근 방식을 사용하여 다중모달 신경망을 학습할 때 이러한 위험을 감지하고 완화하는 방법을 설명합니다. 우리의 코드는 프로젝트 웹사이트(https://github.com/jac99/MinkLocMultimodal)에서 공개적으로 이용 가능합니다.

MinkLoc++: 라이다와 단일 카메라 이미지 융합을 이용한 장소 인식 | 최신 연구 논문 | HyperAI초신경