3D 인스턴스 세그멘테이션을 위한 다중 작업 메트릭 학습

우리는 밀도 높은 3D 복셀 그리드의 인스턴스 라벨 분할을 위한 새로운 방법을 제안합니다. 이 방법은 깊이 센서 또는 다중 시점 스테레오 방법으로 획득된 부피적 장면 표현에 적용되며, 의미론적 3D 재구성 또는 장면 완성 방법으로 처리된 데이터를 대상으로 합니다. 주요 과제는 개별 객체 인스턴스의 형상 정보를 학습하여 정확히 분리하는 것입니다. 이는 연결된 객체와 불완전하게 스캔된 객체도 포함됩니다.우리는 이 문제를 다중 작업 학습 전략을 통해 해결합니다. 첫 번째 목표는 같은 인스턴스 라벨을 가진 복셀들을 서로 가깝게 그룹화하면서 다른 인스턴스 라벨을 가진 클러스터들을 분리하는 추상적인 특징 임베딩을 학습하는 것입니다. 두 번째 목표는 각 복셀에 대해 인스턴스의 질량 중심 방향 정보를 밀도 높게 추정하여 인스턴스 정보를 학습하는 것입니다. 이는 클러스터링 후처리 단계에서 인스턴스 경계를 찾고, 첫 번째 목표의 분할 품질을 평가하는 데 특히 유용합니다.합성 데이터와 실제 세계 데이터 모두 우리의 접근법의 타당성과 장점을 입증합니다. 실제로, 우리의 방법은 ScanNet 3D 인스턴스 분할 벤치마크에서 최신 기술 수준의 성능을 달성하였습니다.