JL-DCF: RGB-D 주목할 만한 객체 탐지를 위한 공동 학습 및 밀집 협업 통합 프레임워크

본 논문은 RGB-D 주목 대상 탐지를 위한 새로운 공동 학습 및 밀집형 협업 융합(JL-DCF) 아키텍처를 제안한다. 기존 모델들은 일반적으로 RGB와 깊이 정보를 독립적인 정보로 간주하고, 각각에 대해 별도의 네트워크를 설계하여 특징을 추출한다. 이러한 접근 방식은 훈련 데이터의 양이 제한적이거나, 정교하게 설계된 훈련 프로세스에 과도하게 의존할 경우 성능이 제한될 수 있다. 반면, 본 연구에서 제안하는 JL-DCF는 사이모이즈(Siamese) 네트워크를 통해 RGB와 깊이 입력을 동시에 학습한다. 이를 위해 두 가지 효과적인 구성 요소를 제안한다: 공동 학습(JL)과 밀집형 협업 융합(DCF). JL 모듈은 강건한 주목 특징 학습을 제공하며, DCF는 보완적인 특징 탐색을 목적으로 도입된다. 네 가지 주요 평가 지표를 기반으로 수행한 포괄적인 실험 결과, 제안된 프레임워크는 우수한 일반화 능력을 갖춘 강건한 RGB-D 주목 대상 탐지기 성능을 보였다. 결과적으로 JL-DCF는 여섯 개의 도전적인 데이터셋에서 평균 약 1.9%의 성능 향상을 기록하며, 최상위 성능을 기록한 D3Net 모델을 상회하였다(S-측정 기준). 이는 제안된 아키텍처가 실세계 응용에 대한 잠재적 해결책을 제시하며, 다중 모달리티 간 보완성 태스크에 대한 더 깊은 통찰을 제공할 수 있음을 시사한다. 코드는 https://github.com/kerenfu/JLDCF/ 에서 공개될 예정이다.