실시간 융합 네트워크를 활용한 RGB-D 세분화: 도로 주행 이미지에서 예기치 않은 장애물 탐지를 통합한 방식

심층 컨볼루션 신경망의 성공에 힘입어 의미 분할(Semantic Segmentation)은 놀라운 발전을 이뤄냈다. 자율 주행 기술의 요구에 부응하여, 실시간 의미 분할은 최근 몇 년간 주목받는 연구 주제가 되었다. 그러나 오늘날 깊이 정보(정확한 깊이 데이터)가 쉽게 확보 가능한 상황임에도 불구하고, 실시간 RGB-D 융합 의미 분할 연구는 여전히 부족한 실정이다. 본 논문에서는 보완적인 다모달 정보를 효과적으로 활용할 수 있는 실시간 융합 의미 분할 네트워크인 RFNet을 제안한다. 효율적인 네트워크 아키텍처를 기반으로 한 RFNet은 빠른 실행 속도를 갖추고 있어 자율 주행 차량의 응용에 적합하다. 다양한 데이터셋을 통한 훈련을 통해 예기치 않은 소형 장애물 탐지 능력을 강화함으로써, 현실 세계에서 발생할 수 있는 예측 불가능한 위험에 대응하기 위한 인식 클래스를 풍부하게 확장하였다. 광범위한 실험 결과는 제안한 프레임워크의 효과성을 입증한다. Cityscapes 데이터셋에서, 본 방법은 기존 최고 성능의 의미 분할 모델들을 능가하며, 전체 해상도 2048x1024에서 뛰어난 정확도와 함께 22Hz의 추론 속도를 달성하여, 대부분의 기존 RGB-D 네트워크를 넘어섰다.