장면 분할을 위한 이중 주의 네트워크

본 논문에서는 자기 주의 메커니즘을 기반으로 풍부한 문맥 의존성을 포착하여 장면 분할 작업을 다룹니다. 이전 연구들이 여러 규모의 특징 융합을 통해 문맥을 포착하는 것과 달리, 우리는 지역 특징과 그 전역적 의존성을 적응적으로 통합하기 위해 듀얼 주의 네트워크(Dual Attention Networks, DANet)를 제안합니다. 구체적으로, 공간 차원과 채널 차원에서 각각 의미론적 상호 의존성을 모델링하는 두 가지 유형의 주의 모듈을 전통적인 확장된 FCN 위에 추가합니다. 위치 주의 모듈은 모든 위치의 특징들의 가중 합을 통해 각 위치에서 특징들을 선택적으로 집계합니다. 비슷한 특징들은 거리와 관계없이 서로 관련됩니다. 한편, 채널 주의 모듈은 모든 채널 맵 간에 연관된 특징들을 통합하여 상호 의존적인 채널 맵을 선택적으로 강조합니다. 우리는 두 가지 주의 모듈의 출력을 합산하여 더욱 정확한 분할 결과에 기여하는 특징 표현을 개선하였습니다. 우리는 Cityscapes, PASCAL Context 및 COCO Stuff 데이터셋이라는 세 가지 어려운 장면 분할 데이터셋에서 새로운 최고 수준의 분할 성능을 달성하였습니다. 특히, Cityscapes 테스트 세트에서 조도 자료를 사용하지 않고 81.5%의 평균 IoU 점수를 달성하였습니다. 본 연구에서 사용한 코드와 학습된 모델은 https://github.com/junfu1115/DANet 에서 공개적으로 이용 가능합니다.