sembantic segmentation을 위한 convolution 이해하기

최근 딥 러닝, 특히 딥 컨볼루션 신경망(CNNs)의 발전으로 이전의 의미 분할 시스템보다 크게 향상되었습니다. 본 연구에서는 이론적 및 실용적인 가치가 있는 컨볼루션 관련 연산을 조작하여 픽셀 단위의 의미 분할을 개선하는 방법을 제시합니다. 첫째, 픽셀 수준 예측을 생성하기 위해 밀집 업샘플링 컨볼루션(Dense Upsampling Convolution, DUC)을 설계하였습니다. 이는 일반적으로 양방향 업샘플링에서 누락되는 더 세부적인 정보를 포착하고 해독할 수 있습니다. 둘째, 인코딩 단계에서 하이브리드 다일레이트 컨볼루션(Hybrid Dilated Convolution, HDC) 프레임워크를 제안합니다. 이 프레임워크는 1) 네트워크의 수용 영역(Receptive Fields, RF)을 효과적으로 확대하여 전역 정보를 집약하고, 2) 표준 다일레이트 컨볼루션 연산에 의해 발생하는 '격자 문제'를 완화합니다.우리는 Cityscapes 데이터셋에서 우리의 접근법을 철저히 평가하였으며, 제출 당시 테스트 세트에서 80.1%의 mIOU를 달성하였습니다. 또한 KITTI 도로 추정 벤치마크와 PASCAL VOC2012 분할 작업에서도 최고 성능을 기록하였습니다. 우리의 소스 코드는 https://github.com/TuSimple/TuSimple-DUC 에서 확인할 수 있습니다.