SpiderMesh: 공간 인식 수요 지도 재귀적 메싱을 위한 RGB-T 의미 분할

도시 장면 이해를 위한 의미 분할에서 RGB 카메라는 어려운 조명 조건 하에서 명확한 전체적인 위상 구조를 포착하는 데 종종 실패합니다. 열 신호는 저품질의 RGB 이미지에서 흐린 영역의 윤곽과 세부적인 질감을 밝혀낼 수 있는 유용한 추가 채널입니다. 실용적인 RGB-T (열) 분할을 목표로, 우리는 시스템적으로 다음과 같은 특성을 가진 공간 인식 수요 지도 재귀 메싱(SpiderMesh) 프레임워크를 제안합니다: 1) 수요 지도 타겟 마스킹 알고리즘을 통해 광학적으로 손상된 영역의 부족한 문맥적 의미를 적극적으로 보완합니다; 2) 재귀 메싱을 통해 다중 모달 의미 특징을 정교화하여 픽셀 단위의 의미 분석 성능을 개선합니다. 또한 비대칭 데이터 증강 기술인 M-CutOut을 소개하고, 실제 사용에서 드물게 제공되는 RGB-T 라벨을 완전히 활용하기 위해 반지도 학습(semi-supervised learning)을 가능하게 합니다. MFNet 및 PST900 데이터셋에 대한 광범위한 실험 결과, SpiderMesh가 표준 RGB-T 분할 벤치마크에서 최고 수준의 성능을 달성함을 입증하였습니다.