BiSeNet: 실시간 의미 분할을 위한 양방향 분할 네트워크

의미 분할은 풍부한 공간 정보와 큰 수용 영역이 필요합니다. 그러나 현대적인 접근 방식은 실시간 추론 속도를 달성하기 위해 일반적으로 공간 해상도를 저하시키는 경향이 있어, 이로 인해 성능이 떨어집니다. 본 논문에서는 이러한 딜레마를 해결하기 위해 새로운 양방향 분할 네트워크(Bilateral Segmentation Network, BiSeNet)를 제안합니다. 먼저, 공간 정보를 보존하고 고해상도 특성을 생성하기 위해 작은 스트라이드를 사용하는 Spatial Path(공간 경로)를 설계하였습니다. 동시에, 충분한 수용 영역을 얻기 위해 빠른 다운샘플링 전략을 사용하는 Context Path(맥락 경로)가 도입되었습니다. 두 경로 위에서, 우리는 효율적으로 특성을 결합하기 위한 새로운 Feature Fusion Module(특성 융합 모듈)을 소개합니다. 제안된 아키텍처는 Cityscapes, CamVid, 그리고 COCO-Stuff 데이터셋에서 속도와 분할 성능 사이에 적절한 균형을 이루고 있습니다. 특히, 2048x1024 입력에 대해 NVIDIA Titan XP 카드 한 개에서 105 FPS의 속도로 Cityscapes 테스트 데이터셋에서 68.4%의 평균 IOU(Mean IOU)를 달성하였으며, 이는 유사한 성능을 가진 기존 방법들보다 상당히 빠릅니다.