17일 전
포인트 클라우드 이해를 위한 통합 쿼리 기반 패러다임
Zetong Yang, Li Jiang, Yanan Sun, Bernt Schiele, Jiaya Jia

초록
3D 포인트 클라우드 이해는 자율 주행 및 로봇 공학 분야에서 중요한 구성 요소이다. 본 논문에서는 객체 탐지, 세분화, 분류 등 다양한 3D 이해 작업을 위한 새로운 임베딩-질의 파라다임(Embedding-Querying Paradigm, EQ-Paradigm)을 제안한다. EQ-Paradigm은 기존의 다양한 3D 백본 아키텍처와 서로 다른 작업 헤드(Head)를 유연하게 결합할 수 있는 통합적 접근 방식이다. EQ-Paradigm 하에서 입력 데이터는 먼저 임베딩 단계에서 임의의 특징 추출 아키텍처를 통해 인코딩되며, 이 단계는 작업 유형이나 헤드에 독립적이다. 이후 질의 단계에서는 인코딩된 특징을 다양한 작업 헤드에 적용 가능하게 한다. 이를 위해 질의 단계에서 중간 표현인 Q-표현(Q-representation)을 도입하여 임베딩 단계와 작업 헤드 사이의 다리 역할을 수행한다. 본 연구에서는 질의 단계의 네트워크로 새로운 Q-Net을 설계하였다. 다양한 3D 작업, 즉 객체 탐지, 세분화, 형태 분류에 대한 광범위한 실험 결과는 EQ-Paradigm과 Q-Net의 조합이 일반적이고 효과적인 파이프라인임을 입증하며, 백본과 헤드 간의 유연한 협업을 가능하게 하며 최첨단 기법의 성능을 더욱 향상시킨다. 코드 및 모델은 https://github.com/dvlab-research/DeepVision3D 에서 제공된다.