JSENet: 3D 포인트 클라우드를 위한 공동 세그멘테이션 및 에지 탐지 네트워크

세멘틱 세그멘테이션과 세멘틱 에지 탐지 는 컴퓨터 비전 분야에서 서로 밀접한 관계를 가진 쌍대적인 문제로 볼 수 있다. 기계 학습 기반의 3D 세멘틱 세그멘테이션 기법의 빠른 발전에도 불구하고, 3D 세멘틱 에지 탐지기의 학습에 대한 관심은 거의 없었으며, 두 작업을 함께 학습하는 방법에 대한 연구는 더욱 제한적이었다. 본 논문에서는 3D 세멘틱 에지 탐지 문제를 처음으로 다루며, 두 작업을 공동으로 수행하는 새로운 이중 스트림 완전 컨볼루션 네트워크(JSENet)를 제안한다. 특히, 영역 정보와 에지 정보를 명시적으로 연결하여 두 작업의 성능을 향상시키는 공동 개선 모듈을 설계하였다. 또한, 더 나은 경계를 갖는 세멘틱 세그멘테이션 결과를 생성하도록 유도하는 새로운 손실 함수를 제안하였다. S3DIS 및 ScanNet 데이터셋에서 실시한 광범위한 평가 결과, 제안하는 방법은 세멘틱 세그멘테이션에서 최신 기술 대비 유사하거나 더 우수한 성능을 보였으며, 세멘틱 에지 탐지에서는 기준 모델보다 뛰어난 성능을 달성하였다. 코드 공개: https://github.com/hzykent/JSENet