RGB-D 세분할을 위한 이중방향 크로스모달 특징 전파 및 분리-집계 게이트

깊이 정보는 RGB-D 이미지의 의미적 세분화에서 RGB 표현에 기하학적 대응을 제공함으로써 유용한 시각적 단서로 입증되었다. 기존의 대부분의 연구들은 깊이 측정이 정확하고 RGB 픽셀과 잘 정렬되어 있다고 단순히 가정하며, 문제를 보다 정확한 특징 표현을 얻기 위해 다중 모달 특징 융합으로 모델링한다. 그러나 실제 깊이 데이터는 일반적으로 노이즈가 많기 때문에, 네트워크가 깊어질수록 정확도가 오히려 저하될 수 있다. 이에 따라 만족스러운 결과를 얻기 어려울 수 있다.본 논문에서는 RGB 특징 응답을 효과적으로 재조정할 뿐만 아니라, 다단계를 통해 정확한 깊이 정보를 정제하고, 두 재조정된 표현을 번갈아가며 집계하는 통합적이고 효율적인 다모달 가이드 인코더를 제안한다. 제안된 아키텍처의 핵심은 다모달 융합 전에 두 표현을 동시에 필터링하고 재조정하는 새로운 '분리-집계 게이팅(Separation-and-Aggregation Gating)' 연산이다. 동시에, 양방향 다단계 전파 전략(Bi-direction Multi-step Propagation strategy)을 도입하여, 두 모달 간의 정보 전파 및 융합을 도우면서도 장기적인 전파 과정에서도 각 모달의 고유성을 유지한다. 또한 본 인코더는 기존의 인코더-디코더 구조에 간편하게 통합될 수 있어 RGB-D 의미적 세분화 성능을 향상시킬 수 있다. 제안한 모델은 실내 및 실외의 도전적인 데이터셋에서 기존 최고 성능 모델들을 일관되게 능가한다. 본 연구의 코드는 https://charlescxk.github.io/ 에서 공개되어 있다.