SIGNet: 의미 인스턴스 보조 비지도 3D 기하학 인식

기하학적 인식(깊이, 광학적 흐름 등)을 위한 비지도 학습은 자율 시스템 분야에서 큰 관심을 받고 있습니다. 최근의 비지도 학습 연구는 기하학적 인식에 상당한 진전을 이뤘지만, 일반적으로 객체의 일관성을 무시하고 어두운 환경이나 노이즈가 많은 상황에서는 성능이 떨어집니다. 반면, 지도 학습 알고리즘은 견고하지만, 대규모 라벨링된 기하학적 데이터셋이 필요합니다. 본 논문에서는 기하학적 정보 라벨 없이 견고한 기하학적 인식을 제공하는 새로운 프레임워크인 SIGNet을 소개합니다. 특히, SIGNet은 의미론적 정보를 통합하여 깊이와 흐름 예측이 객체와 일관되게 이루어지고 저조도 조건에서도 견고하게 작동하도록 설계되었습니다. 실험 결과, SIGNet은 깊이 예측에서 기존 최신 비지도 학습 방법보다 상대 오차 제곱에 대해 30% 개선된 것으로 나타났습니다. 특히, 동적 객체 클래스의 성능은 깊이 예측에서 39%, 흐름 예측에서 29% 개선되었습니다. 우리의 코드는 https://github.com/mengyuest/SIGNet 에서 공개될 예정입니다.