16일 전

RGB-D 색인 탐지를 위한 선택적 자기상호 주의 학습

{ Junwei Han, Ni Zhang, Nian Liu}
RGB-D 색인 탐지를 위한 선택적 자기상호 주의 학습
초록

최근 RGB-D 이미지에 대한 시각적 주목도 탐지(saliency detection)에 대한 연구 관심이 점점 증가하고 있다. 기존의 모델들은 입력된 RGB 데이터와 깊이 데이터 또는 그들의 주목도 맵을 조합하기 위해 조기 융합(early fusion) 또는 결과 융합(result fusion) 방식을 사용해 왔으나, 이러한 방법은 분포 간 차이(distribution gap) 또는 정보 손실 문제를 야기한다. 일부 모델들은 특징 융합(feature fusion) 방식을 사용하지만, 선형적인 특징 융합 방법에 한계를 지닌다. 본 논문에서는 두 모달리티(modality)에서 학습된 주목도를 융합하는 새로운 접근을 제안한다. 비국소 모델(Non-local model)을 영감으로 삼아, 자기 주목도(self-attention)와 상대 모달리티의 주목도를 통합함으로써 장거리 맥락적 의존성(contextual dependencies)을 효과적으로 전파함으로써, 다중 모달 정보를 보다 정확하게 학습하고 맥락을 전파할 수 있도록 한다. 또한, 다른 모달리티의 주목도가 얼마나 신뢰할 수 있는지를 고려하여, 새로 추가된 주목도 항목을 가중치 조정하는 선택 주목도(selection attention)를 제안한다. 제안된 주목도 모듈을 RGB-D 주목도 탐지용 이중 스트림 CNN(dual-stream CNN)에 통합하였다. 더불어 깊이 디코더의 특징을 RGB 스트림에 융합하기 위한 잔차 융합 모듈(residual fusion module)도 제안하였다. 일곱 개의 벤치마크 데이터셋에서 수행한 실험 결과는 제안된 모듈 구성 요소들과 최종 주목도 모델의 효과성을 입증한다. 본 연구의 코드 및 주목도 맵은 https://github.com/nnizhang/S2MA 에 공개되어 있다.

RGB-D 색인 탐지를 위한 선택적 자기상호 주의 학습 | 최신 연구 논문 | HyperAI초신경