RDFNet: 실내 세분화를 위한 RGB-D 다중 수준 잔차 특징 융합

RGB-D 데이터를 이용한 다중 클래스 실내 의미 분할에서, RGB 특징에 깊이 특징을 통합하는 것이 분할 정확도 향상에 도움이 된다는 것이 입증되었다. 그러나 기존 연구들은 다중 모달 특징 융합의 잠재력을 충분히 활용하지 못했으며, 단순히 RGB와 깊이 특징을 연결하거나 RGB 및 깊이 점수 맵을 평균화하는 방식에 그쳤다. 본 논문은 다중 모달 특징 융합의 최적화를 학습하기 위해 리지듀얼 학습의 핵심 아이디어를 RGB-D 의미 분할에 확장한 새로운 네트워크를 제안한다. 제안하는 네트워크는 다중 모달 특징 융합 블록과 다중 수준 특징 개선 블록을 포함함으로써 다수준 RGB-D CNN 특징을 효과적으로 추출한다. 특징 융합 블록은 RGB 및 깊이 특징의 잔차 특징과 그 조합을 학습함으로써 RGB와 깊이 데이터 간의 상보적 특성을 극대화한다. 특징 개선 블록은 다수준에서 융합된 특징의 조합을 학습하여 고해상도 예측을 가능하게 한다. 본 네트워크는 스킵 연결을 최대한 활용함으로써 각 모달로부터 종단 간 분별성 있는 다수준 특징을 효율적으로 학습할 수 있다. 광범위한 실험을 통해 제안된 아키텍처가 NYUDv2 및 SUN RGB-D와 같은 두 가지 도전적인 RGB-D 실내 데이터셋에서 최신 기술 수준의 정확도를 달성함을 입증하였다.