ESPNet: 효율적인 희소 공간 피라미드 확장 합성곱을 이용한 의미 분할

자원 제약 하에서 고해상도 이미지의 의미 분할을 위한 빠르고 효율적인 컨볼루션 신경망, ESPNet을 소개합니다. ESPNet은 계산, 메모리, 전력 측면에서 효율적인 새로운 컨볼루션 모듈인 효율적 공간 피라미드(Efficient Spatial Pyramid, ESP)를 기반으로 합니다. ESPNet은 최신의 의미 분할 네트워크인 PSPNet보다 22배 빠르고(표준 GPU 상에서), 180배 작으며, 카테고리별 정확도는 단 8% 낮습니다. 우리는 Cityscapes, PASCAL VOC, 유방 생검 전체 슬라이드 이미지 데이터셋 등 다양한 의미 분할 데이터셋에서 ESPNet을 평가했습니다. 메모리와 계산에 대한 동일한 제약 조건 하에서 ESPNet은 MobileNet, ShuffleNet, ENet 등의 현재 효율적인 CNN 네트워크들보다 표준 지표와 엣지 디바이스의 효율성을 측정하는 새로 도입된 성능 지표 모두에서 우수한 성능을 보입니다. 우리의 네트워크는 표준 GPU에서는 초당 112프레임, 엣지 디바이스에서는 초당 9프레임의 속도로 고해상도 이미지를 처리할 수 있습니다.