RGB-D 색각 탐지: 연속적 상호정보 최소화를 통한 접근

기존의 RGB-D 색인 탐지 모델들은 RGB와 깊이 정보 간에 효과적인 다중 모달 학습을 명시적으로 유도하지 않는다. 본 논문에서는 RGB 이미지와 깊이 데이터 간의 다중 모달 정보를 '명시적으로' 모델링하기 위해 상호정보량 최소화를 통한 새로운 다단계 연결 학습 프레임워크를 제안한다. 구체적으로, 각 모달의 특징을 낮은 차원의 특징 벡터로 매핑한 후, RGB의 외형 특징과 깊이의 기하학적 특징 간의 중복을 줄이기 위해 상호정보량 최소화를 정규화 항으로 활용한다. 이후, 네트워크의 각 단계에서 상호정보량 최소화 제약을 적용하기 위해 다단계 연결 학습을 수행한다. 기준 RGB-D 색인 데이터셋에 대한 광범위한 실험을 통해 본 프레임워크의 효과성을 입증하였다. 또한, 이 분야의 발전을 촉진하기 위해, 기존 NJU2K보다 7배 더 큰 규모를 갖는 최대의 데이터셋을 기여한다. 이 데이터셋은 고해상도 폴리곤, 스케치, 객체, 인스턴스, 순위 수준의 레이블을 포함한 총 15,625개의 이미지 쌍으로 구성되어 있다. 이러한 풍부한 레이블을 기반으로 네 가지 새로운 벤치마크를 추가로 구축하였으며, 강력한 베이스라인을 설정하고 몇 가지 흥미로운 현상을 관찰하였다. 이러한 결과는 향후 모델 설계에 대한 통찰을 제공할 수 있다. 소스 코드와 데이터셋은 https://github.com/JingZhang617/cascaded_rgbd_sod 에서 공개되어 있다.