ACNet: 주의 기반 네트워크를 활용한 RGBD 의미 분할을 위한 보완적 특성 추출

RGB 색상 분할에 비해 RGBD 색상 분할은 깊이 정보를 고려함으로써 더 우수한 성능을 달성할 수 있습니다. 그러나 현재의 분할기들은 서로 다른 장면에서 RGB 이미지와 깊이(D) 이미지의 특징 분포가 크게 다르기 때문에 RGBD 정보를 효과적으로 활용하는 데 여전히 문제가 있습니다. 본 논문에서는 RGB와 깊이 브랜치에서 선택적으로 특징을 수집하는 주의 보완 네트워크(Attention Complementary Network, ACNet)를 제안합니다. 주요 기여점은 주의 보완 모듈(Attention Complementary Module, ACM)과 세 개의 병렬 브랜치 구조에 있습니다. 구체적으로, ACM은 채널 주의 기반 모듈로, RGB와 깊이 브랜치에서 가중된 특징을 추출합니다. 이 구조는 원래의 RGB와 깊이 브랜치의 추론을 유지하면서 동시에 융합 브랜치를 가능하게 합니다. 위의 구조를 바탕으로 ACNet은 다양한 채널에서 더 고품질의 특징을 활용할 수 있습니다. 우리는 SUN-RGBD 및 NYUDv2 데이터셋에서 우리의 모델을 평가하였으며, 최신 방법들을 능가하는 성능을 입증하였습니다. 특히 ResNet50을 사용하여 NYUDv2 테스트 세트에서 48.3%의 mIoU 점수를 달성하였습니다. 우리는 PyTorch 기반 소스 코드와 훈련된 분할 모델을 https://github.com/anheidelonghu/ACNet 에 공개할 예정입니다.