LSK3DNet: 대규모 희소 커널을 활용한 효과적이고 효율적인 3D 인식으로 나아가기

자율 시스템은 제한된 계산 자원을 바탕으로 대규모이면서 희소하고 비정규적인 포인트 클라우드를 처리해야 하므로, 효율적이고 효과적인 LiDAR 인식 방법 개발이 필수적이다. 기존의 3D 커널 크기를 단순히 확대하는 방식은 성능 향상에는 기여하지만, 계산 부담이 입방적으로 증가하는 문제를 야기한다. 따라서 불필요한 가중치를 제거하고 더 큰 커널을 효과적으로 활용할 수 있는 간결한 3D 대규모 커널 설계가 중요하다. 본 논문에서는 동적 프리닝(dynamic pruning) 기법을 활용하여 3D 커널 크기를 확장하는 효율적이고 효과적인 대규모 희소 커널 3D 신경망(Large Sparse Kernel 3D Neural Network, LSK3DNet)을 제안한다. 본 방법은 두 가지 핵심 구성 요소로 이루어져 있다: 공간적 동적 희소성(Spatial-wise Dynamic Sparsity, SDS)과 채널별 가중치 선택(Channel-wise Weight Selection, CWS). SDS는 초기 단계부터 부피적 가중치를 동적으로 프리닝하고 재생성함으로써 대규모 희소 3D 커널을 학습한다. 이는 성능 향상뿐 아니라 모델 크기와 계산 비용을 크게 감소시키는 효과를 제공한다. 또한 CWS는 학습 과정에서 3D 컨볼루션에 가장 중요한 채널을 선택하고, 이후 불필요한 채널을 제거함으로써 3D 비전 작업의 추론 속도를 가속화한다. 제안된 LSK3DNet은 전통적인 모델과 대규모 커널 설계 대비 세 가지 벤치마크 데이터셋과 다섯 가지 트랙에서 뛰어난 성능을 입증하였다. 특히 SemanticKITTI에서 단일 스캔 기준 75.6%, 다중 스캔 기준 63.4%의 최신 기준(SOTA) 성능을 달성하였으며, 단순한 대규모 3D 커널 모델 대비 약 40%의 모델 크기 감소와 약 60%의 계산 연산 감소를 실현하였다.