3D LiDAR 스캔 시퀀스를 활용한 4D 팔레오판옵틱 세그멘테이션을 위한 대조적 인스턴스 관계 설정

동적 환경에서의 자율 주행을 위해서 장면 이해는 핵심적인 요소이다. 이 분야의 인식 작업, 예를 들어 세분화(segmentation)와 추적(tracking)는 일반적으로 개별적으로 해결된다. 본 논문에서는 라이다(LiDAR) 스캔을 활용한 4차원(4D) 팬옵틱 세분화(panoptic segmentation) 문제에 대해 다룬다. 이 문제는 시간적 스캔 시퀀스 내 각 3차원 포인트에 의미론적 클래스를 할당하고, 각 객체에 대해 시간적으로 일관된 인스턴스 ID를 부여하는 것을 요구한다. 우리는 임의의 단일 스캔 팬옵틱 세분화 네트워크를 기반으로 하되, 시간 간 인스턴스를 연결함으로써 시간 영역으로 확장하는 새로운 접근법을 제안한다. 제안하는 대비적 집계 네트워크(contrastive aggregation network)는 팬옵틱 네트워크에서 도출된 포인트 단위 특징을 활용하며, 동일 인스턴스가 다양한 시점에서 가지는 인코딩이 서로 가까이 위치하고, 다른 인스턴스의 인코딩과는 멀리 떨어지도록 임베딩 공간을 생성한다. 학습은 자기지도 학습(Self-supervised metric learning)을 위한 대비적 학습 기법을 영감으로 삼고 있다. 우리의 인스턴스 연결 모듈은 외형적 특징과 운동 정보를 결합하여 스캔 간 인스턴스를 연결함으로써 시간적 인식을 가능하게 한다. 제안한 방법은 SemanticKITTI 벤치마크에서 평가되었으며, 자세 정보(pose information)에 의존하지 않음에도 불구하고 최신 기술 수준의 성능을 달성하였다.