PanopticFusion: 물체와 배경 수준의 온라인 볼루메트릭 의미 매핑

우리는 배경 영역(스터프)과 개별 전경 객체(싱글스)의 수준에서 새로운 온라인 볼루메트릭 세맨틱 매핑 시스템인 PanopticFusion을 제안합니다. 이전의 세맨틱 매핑 시스템들과 달리, PanopticFusion은 밀도 있게 배경 영역의 클래스 라벨을 예측하고 임의의 전경 객체를 개별적으로 분할할 수 있습니다. 또한, 공간 해시 볼루메트릭 맵 표현을 사용함으로써 대규모 장면을 재구성하고 라벨이 부착된 메시를 추출할 수 있는 기능을 가지고 있습니다.우리 시스템은 먼저 2D 세맨틱 및 인스턴스 분할 출력을 융합하여 들어오는 RGB 프레임에 대한 픽셀 단위로 파노프틱 라벨(배경 영역의 클래스 라벨과 전경 영역의 인스턴스 ID)을 예측합니다. 예측된 파노프틱 라벨은 깊이 측정값과 함께 인스턴스 ID의 일관성을 유지하기 위해 해당 시점의 3D 맵을 참조하면서 볼루메트릭 맵에 통합됩니다. 또한, 우리는 파노프틱 라벨에 대해 완전 연결 조건부 확률 모델(CRF)을 구축하여 맵 정규화를 수행합니다. 온라인 CRF 추론을 위해, 우리는 새로운 유니어리 포텐셜 근사법과 맵 분할 전략을 제안합니다.우리는 ScanNet (v2) 데이터셋에서 우리 시스템의 성능을 평가했습니다. PanopticFusion은 세맨틱 분할 및 인스턴스 분할 벤치마크에서 최신 오프라인 3D DNN 방법들보다 우수하거나 비슷한 성능을 보였습니다. 또한, 제안된 시스템으로 생성된 3D 파노프틱 맵을 사용한 유망한 증강 현실 응용 사례를 소개합니다.