초록
RGB-T 의미 분할은 자율 주행 장면 이해의 핵심 기술입니다. 그러나 기존의 RGB-T 의미 분할 방법들은 다양한 모달 간의 보완 관계를 여러 수준 간의 정보 상호작용에서 효과적으로 탐색하지 못하고 있습니다. 이러한 문제를 해결하기 위해, RGB-T 의미 분할을 위한 문맥 인식 상호작용 네트워크(Context-Aware Interaction Network, CAINet)가 제안되었습니다. 이 네트워크는 보조 작업과 전역 문맥을 활용하여 명시적으로 안내되는 학습을 구현하기 위해 상호작용 공간을 구성합니다.특히, 우리는 공간 차원과 채널 차원에서 장기적인 문맥을 고려하여 다중 모달 특성 간의 보완 관계를 설정하는 목표로 문맥 인식 보완 추론(Context-Aware Complementary Reasoning, CACR) 모듈을 제안합니다. 또한 전역 문맥 정보와 세부 정보의 중요성을 고려하여, 전역 문맥 모델링(Global Context Modeling, GCM) 모듈과 세부 집합(Detail Aggregation, DA) 모듈을 제안하였으며, 특정 보조 감독을 도입하여 문맥 상호작용을 명시적으로 안내하고 분할 맵을 정교하게 개선하였습니다.MFNet 및 PST900 벤치마크 데이터셋에 대한 광범위한 실험 결과, 제안된 CAINet이 최고 수준의 성능을 달성함을 입증하였습니다. 코드는 https://github.com/YingLv1106/CAINet에서 제공됩니다.