초록
SegBlocks는 이미지 영역의 복잡도에 따라 동적으로 처리 해상도를 조정함으로써 기존 신경망의 계산 비용을 감소시킨다. 본 연구 방법은 이미지를 블록으로 분할하고, 낮은 복잡도를 가진 블록을 다운샘플링함으로써 연산 횟수와 메모리 사용량을 줄인다. 복잡한 영역을 선택하는 가벼운 정책 네트워크는 강화학습을 이용해 훈련된다. 또한 CUDA로 구현된 여러 모듈을 도입하여 이미지를 블록 단위로 처리한다. 가장 중요한 점은, 기존 방법이 겪는 블록 경계에서의 특징 불연속 문제를 해결하면서도 메모리 사용량을 효율적으로 관리하는 새로운 BlockPad 모듈을 제안했다는 점이다. 도시 세분화(semantic segmentation)를 위한 Cityscapes, CamVid, Mapillary Vistas 데이터셋에서의 실험 결과, 정적 기준선과 유사한 복잡도를 갖는 경우에 비해 동적으로 이미지를 처리하는 것이 더 우수한 정확도 대 복잡도의 균형을 제공함을 확인하였다. 예를 들어, SwiftNet-RN18의 경우, 연산량을 60% 감소시키면서도 인퍼런스 속도를 50% 향상시켰으며, Cityscapes에서 mIoU 정확도는 단 0.3%만 감소하였다.