4D 팬옵틱 세그멘테이션을 불변성과 등변성 필드 예측으로서의 접근

본 논문에서는 4D 팬옵틱 세그멘테이션을 위한 회전 등변 신경망을 개발합니다. 4D 팬옵틱 세그멘테이션은 자율 주행 분야의 벤치마크 작업으로, LiDAR 스캔을 기반으로 도로 상의 의미적 클래스와 객체 인스턴스를 인식하고, 시간에 따른 일관된 ID를 인스턴스에 할당하는 것이 필요합니다. 우리는 주행 시나리오가 지면 평면에서의 회전에 대해 대칭이라는 점을 관찰하였습니다. 따라서, 회전 등변성은 더 나은 일반화와 강건한 특징 학습을 제공할 수 있습니다.특히, 객체 인스턴스 클러스터링 전략을 검토하고, 중심성 기반 접근법과 오프셋 기반 접근법을 불변 스칼라 필드와 등변 벡터 필드의 예측으로 재정립합니다. 이 관점에서 다른 하위 작업들도 통합되며, 다양한 불변 및 등변 계층이 설계되어 그 예측을 용이하게 합니다. SemanticKITTI의 표준 4D 팬옵틱 세그멘테이션 벤치마크에서 평가한 결과, 우리의 등변 모델은 비등변 모델보다 낮은 계산 비용으로 더 높은 정확도를 달성함을 보여주었습니다. 또한, 우리의 방법론은 새로운 최고 성능(SOTA)을 설정하며 SemanticKITTI 4D 팬옵틱 세그멘테이션 리더보드에서 1위를 차지하였습니다.