RGB-D 색인 탐지를 위한 선택, 보완 및 집중

위치에 대한 판별력이 뛰어난 깊이 데이터는 정확한 샐런시 예측에 유리함이 입증되었다. 그러나 RGB-D 샐런시 검출 방법은 깊이 맵의 무작위 분포된 오류 영역이나 물체 경계 부근의 누락 영역으로 인해 부정적인 영향을 받을 수 있다. 이는 잘 설계된 모델을 통해 더욱 효과적인 추론을 달성할 수 있는 가능성을 제공한다. 본 논문에서는 두 가지 모달리티에서의 국소적 및 전역적 보완성을 고려하여 정확한 RGB-D 샐런시 검출을 위한 새로운 프레임워크를 제안한다. 이는 RGB 및 깊이 데이터에서 유용한 표현을 동시에 선택하고, 동시에 물체 경계를 정교화할 수 있도록 충분히 판별력 있는 보완 상호작용 모델을 설계함으로써 달성된다. 더불어, 보완 상호작용 모델에서 고려되지 않은 정보를 추가로 처리하기 위해 보상 인식 손실(Compensation-aware Loss)을 제안함으로써 어려운 시나리오에 대한 일반화 능력을 향상시켰다. 6개의 공개 데이터셋에서 수행된 실험 결과, 제안한 방법이 18개의 최신 기술(SOTA) 방법들을 모두 초월함을 확인하였다.