초록
최근 들어 희소 3D 컨볼루션은 3D 객체 탐지 분야에 큰 변화를 가져왔다. 투표 기반 접근법과 비슷한 성능을 발휘하면서도 메모리 효율성이 뛰어나고 대규모 장면에 더 잘 확장된다. 그러나 여전히 개선할 여지가 있다. 문제 해결에 실용적이고 의도적인 접근을 취함으로써, 이러한 방법들의 성능을 분석하고 약점을 정밀하게 파악하였다. 발견된 문제들을 하나씩 해결하기 위해 수정을 가한 결과, 우리는 엔드투엔드로 학습 가능한 빠른 완전 컨볼루션형 3D 객체 탐지 모델인 TR3D를 제안한다. 이 모델은 표준 벤치마크인 ScanNet v2, SUN RGB-D, S3DIS에서 최고 수준의 성능을 달성하였다. 더불어, 포인트 클라우드와 RGB 입력을 모두 활용하기 위해 2D와 3D 특징의 조기 융합(early fusion)을 도입하였다. 기존의 3D 객체 탐지 방법에 본 융합 모듈을 적용하여 다중 모달(multimodal) 방식으로 개선하고, 성능 향상이 뚜렷하게 나타남을 입증하였다. 조기 특징 융합을 적용한 모델인 TR3D+FF는 SUN RGB-D 데이터셋에서 기존의 3D 객체 탐지 기법들을 모두 상회하는 성능을 보였다. 종합적으로, TR3D 및 TR3D+FF 모델은 정확성뿐 아니라 경량화, 메모리 효율성, 빠른 처리 속도를 동시에 갖추고 있어 실시간 3D 객체 탐지를 향한 또 다른 중요한 진전을 나타낸다. 코드는 https://github.com/SamsungLabs/tr3d 에서 공개되어 있다.