RGB-D 색맹 객체 탐지: 다중 모달리티 조절 및 선택 기법을 활용한 방법

우리는 RGB-D 색각 객체 탐지(SOD)를 위한 다중 모달 간 보완성 정보를 점진적으로 통합하고 정제하는 효과적인 방법을 제안한다. 제안하는 네트워크는 다음과 같은 두 가지 도전적인 문제를 주로 해결한다: 1) RGB 이미지와 그에 대응하는 깊이 맵 사이의 보완적 정보를 효과적으로 통합하는 방법, 2) 더 많은 색각 관련 특징을 적응적으로 선택하는 방법. 먼저, 깊이 특징을 사전 정보로 활용하여 특징 표현을 강화하는 다중 모달 특징 조절(cmFM) 모듈을 제안한다. 이 모듈은 RGB-D 데이터 간의 보완적 관계를 모델링한다. 두 번째로, 색각 관련 특징을 선택하고 열등한 특징을 억제하는 적응형 특징 선택(AFS) 모듈을 제안한다. AFS 모듈은 채널 특징의 자기 모달성과 다중 모달 간 상호의존성을 고려한 다중 모달 공간 특징 융합을 활용한다. 세 번째로, 네트워크가 색각 관련 영역에 더 집중하도록 유도하기 위해 색각 유도 위치-경계 주의(sg-PEA) 모듈을 도입한다. 위의 세 모듈은 전체적으로 cmMS 블록이라 불리며, 거시적에서 미시적인 방식으로 색각 특징을 정제하는 데 기여한다. 하향식 추론과 결합함으로써, 정제된 색각 특징은 정확하고 경계를 보존하는 SOD를 가능하게 한다. 광범위한 실험을 통해 제안한 네트워크가 6개의 대표적인 RGB-D SOD 벤치마크에서 최신 기술(SOTA)보다 우수한 성능을 보임을 입증하였다.