11일 전

특정성 보존형 RGB-D 색인성 탐지

Tao Zhou, Deng-Ping Fan, Geng Chen, Yi Zhou, Huazhu Fu
특정성 보존형 RGB-D 색인성 탐지
초록

RGB 및 깊이 이미지에서의 주목할 만한 객체 탐지(Salient Object Detection, SOD)는 그 효과성과 깊이 정보를 이제 편리하게 캡처할 수 있다는 점으로 인해 점점 더 많은 연구 관심을 받고 있다. 기존의 RGB-D SOD 모델들은 주로 두 가지 모달(즉, RGB와 깊이)에서 공유 표현을 학습하기 위해 다양한 융합 전략을 채택하지만, 모달 고유의 특성을 어떻게 보존할지에 대해 명시적으로 고려하는 방법은 드물다. 본 연구에서는 공유 정보와 모달 고유 특성(예: 특이성)을 동시에 탐색함으로써 SOD 성능을 향상시키는 새로운 프레임워크인 SPNet(Specificity-preserving network)을 제안한다. 구체적으로, 각각의 독립적인 모달 특성을 학습하고 공유 표현을 추출하기 위해 두 개의 모달 고유 네트워크와 하나의 공유 학습 네트워크를 도입한다. 공유 학습 네트워크 내에서 다중 모달 특징을 효과적으로 융합하기 위해, 교차 강화 통합 모듈(Cross-enhanced Integration Module, CIM)을 제안하며, 융합된 특징은 다음 레이어로 전파되어 레벨 간 정보를 통합하도록 한다. 또한, SOD 성능을 향상시키기 위해 풍부한 보완적인 다중 모달 정보를 포착하기 위해, 각 독립 디코더로부터 도출된 모달 고유 특징을 공유 디코더에 통합하는 다중 모달 특징 집계(Multi-modal Feature Aggregation, MFA) 모듈을 제안한다. 또한, 인코더와 디코더 레이어 간의 계층적 특징을 완전히 결합하기 위해 스케이프 연결(skip connection)을 활용한다. 광범위한 실험 결과는 제안한 SPNet이 여섯 개의 대표적인 RGB-D SOD 벤치마크와 세 개의 은폐된 객체 탐지 벤치마크에서 최첨단 기법들을 모두 능가함을 입증한다. 본 연구 프로젝트는 공개되어 있으며, 다음 링크에서 확인 가능하다: https://github.com/taozh2017/SPNet.

특정성 보존형 RGB-D 색인성 탐지 | 최신 연구 논문 | HyperAI초신경