초록
본 논문에서는 3차원 점군의 인스턴스 세그멘테이션과 세미틱 세그멘테이션을 동시에 해결하기 위해, 새로운 공동 인스턴스 및 세미틱 세그멘테이션 접근법인 JSNet을 제안한다. 먼저, 원시 점군에서 강건한 특징을 추출하기 위한 효과적인 백본 네트워크를 구축한다. 이후, 보다 구분력 있는 특징을 얻기 위해 백본 네트워크의 다양한 레이어 특징을 융합하는 점군 특징 융합 모듈을 제안한다. 더불어, 공동 인스턴스-세미틱 세그멘테이션 모듈을 개발하여 세미틱 특징을 인스턴스 임베딩 공간으로 변환하고, 변환된 특징을 인스턴스 특징과 추가로 융합함으로써 인스턴스 세그멘테이션을 촉진한다. 동시에 이 모듈은 인스턴스 특징을 세미틱 특징 공간으로 집약하여 세미틱 세그멘테이션을 강화한다. 마지막으로, 인스턴스 임베딩에 간단한 평균 이동 클러스터링(mean-shift clustering)을 적용하여 인스턴스 예측을 생성한다. 결과적으로, 제안한 JSNet은 대규모 3차원 실내 점군 데이터셋인 S3DIS와 파트 데이터셋인 ShapeNet에서 평가되었으며, 기존의 방법들과 비교 분석하였다. 실험 결과, 3차원 인스턴스 세그멘테이션에서 최신 기술 대비 유의미한 성능 향상을 보였으며, 3차원 세미틱 예측 및 파트 세그멘테이션에서도 우수한 성능을 나타내었다. 본 연구의 소스 코드는 https://github.com/dlinzhao/JSNet 에 공개되어 있다.