JSIS3D: 다중 작업 포인트 네트워크와 다중 값 조건부 랜덤 필드를 이용한 3D 포인트 클라우드의 공동 의미-인스턴스 분할

딥러닝 기술은 2D 이미지와 관련된 대부분의 시각적 작업에서 주요 모델로 자리 잡았습니다. 그러나 3D 공간에서의 몇몇 작업, 예를 들어 3D 장면 이해 등에서는 그 잠재력이 완전히 실현되지 않았습니다. 본 연구에서는 3D 포인트 클라우드의 의미 분할과 인스턴스 분할 문제를 동시에 다루고자 합니다. 구체적으로, 우리는 두 가지 작업을 동시에 수행하는 다중 태스크 포인트별 네트워크를 개발하였습니다: 3D 포인트의 의미 클래스를 예측하고, 같은 객체 인스턴스에 속한 포인트들이 유사한 임베딩으로 표현되도록 고차원 벡터에 포인트들을 임베딩합니다. 그런 다음, 의미 라벨과 인스턴스 라벨을 통합하기 위해 다중 값 조건부 랜덤 필드 모델을 제안하고, 의미 분할과 인스턴스 분할 문제를 필드 모델 내에서 라벨을 공동 최적화하는 것으로 정식화하였습니다. 제안된 방법은 S3DIS 및 SceneNN을 포함한 다양한 실내 장면 데이터셋에서 기존 방법들과 비교하여 철저히 평가되었습니다. 실험 결과는 제안된 공동 의미-인스턴스 분할 방식이 단일 구성 요소들보다 우수한 견고성을 보였으며, 우리의 방법은 또한 의미 분할에서 최신 성능을 달성하였습니다.