17일 전

MiniNet: 실시간 비지도 단안 깊이 추정을 위한 극도로 가벼운 합성곱 신경망

Jun Liu, Qing Li, Rui Cao, Wenming Tang, Guoping Qiu
MiniNet: 실시간 비지도 단안 깊이 추정을 위한 극도로 가벼운 합성곱 신경망
초록

단일 이미지에서 깊이를 예측하는 것은 기계가 세상을 더 잘 인지할 수 있도록 하나의 추가 차원의 정보를 제공하므로 매력적인 연구 주제이다. 최근에는 딥러닝이 단안 깊이 추정에 효과적인 접근법으로 부상하고 있다. 그러나 레이블이 붙은 데이터를 확보하는 데 비용이 크기 때문에, 최근의 추세는 감독 학습에서 비감독 학습으로 전환하여 단안 깊이를 추출하는 방향으로 나아가고 있다. 그러나 대부분의 높은 정확도의 깊이 예측 성능을 달성할 수 있는 비감독 학습 방법은 깊은 네트워크 아키텍처를 요구하게 되며, 이는 저장 공간과 메모리가 제한된 임베디드 장치에서 실행하기에 너무 무겁고 복잡하다. 이러한 문제를 해결하기 위해, 우리는 반복 모듈을 갖춘 새로운 강력한 네트워크 아키텍처를 제안한다. 이는 깊은 네트워크의 성능을 달성하면서도, 실시간 고성능 비감독 단안 깊이 예측을 위해 매우 가벼운 크기로 유지할 수 있도록 한다. 또한, 관련 인코더 계층의 특징을 효율적으로 융합하고 특징의 공간적 크기를 작고 적은 모델 파라미터로 복원할 수 있는 새로운 효율적인 업샘플 블록을 제안한다. 제안한 방법의 효과는 KITTI 데이터셋에서 실시한 광범위한 실험을 통해 검증되었다. 제안된 모델은 단일 GPU에서 약 110 프레임/초(fps), 단일 CPU에서는 37 fps, Raspberry Pi 3에서는 2 fps의 속도로 실행 가능하며, 최신 기술 대비 거의 33배 적은 모델 파라미터로 더 높은 깊이 예측 정확도를 달성한다. 우리 지식에 따르면, 본 연구는 실시간 비감독 단안 깊이 예측을 위한 초경량 신경망을 단안 영상 시퀀스에서 학습한 최초의 사례로, 저비용 임베디드 장치에서 딥러닝 기반의 실시간 비감독 단안 깊이 예측 구현의 가능성을 열었다.