ISBNet: 인스턴스 인식 샘플링과 박스 인식 동적 컨볼루션을 갖춘 3D 포인트 클라우드 인스턴스 세그멘테이션 네트워크

기존의 3D 인스턴스 세그멘테이션 방법은 주로 하향식 설계에 기반하고 있다. 즉, 점들을 클러스터로 그룹화하기 위해 수동으로 미세 조정된 알고리즘을 사용한 후, 개선 네트워크를 통해 세부적인 결과를 도출한다. 그러나 이러한 방법은 클러스터의 품질에 크게 의존하기 때문에, (1) 동일한 의미 클래스를 가진 근접한 객체들이 서로 겹쳐 있는 경우, 또는 (2) 느슨하게 연결된 영역을 가진 큰 객체가 존재하는 경우, 취약한 결과를 초래한다. 이러한 한계를 해결하기 위해, 우리는 인스턴스를 커널로 표현하고 동적 컨볼루션을 통해 인스턴스 마스크를 복원하는 새로운 클러스터 없는 방법인 ISBNet을 제안한다. 높은 재현율과 구분 능력을 갖춘 커널을 효율적으로 생성하기 위해, 후보 점들을 추출하기 위한 간단한 전략인 '인스턴스 인식 최대 거리 샘플링(Instance-aware Farthest Point Sampling)'을 제안하며, PointNet++의 로컬 집계 레이어를 영감으로 삼아 후보 특징을 인코딩하는 구조를 도입한다. 또한, 동적 컨볼루션 내에서 3D 축에 맞춰 정렬된 경계 상자(3D axis-aligned bounding boxes)를 예측하고 활용하는 것이 성능 향상에 기여함을 보여준다. 제안한 방법은 ScanNetV2(55.9), S3DIS(60.8), STPLS3D(49.2)에서 AP 기준으로 새로운 최고 성능을 기록하며, 동시에 빠른 추론 속도(ScanNetV2 기준 1장당 237ms)를 유지한다. 소스 코드와 학습된 모델은 https://github.com/VinAIResearch/ISBNet 에서 공개되어 있다.