2달 전

RFBNet: 잔차 융합 블록을 사용한 깊은 다중 모달 네트워크로 RGB-D 의미 분할 수행

Liuyuan Deng; Ming Yang; Tianyi Li; Yuesheng He; Chunxiang Wang
RFBNet: 잔차 융합 블록을 사용한 깊은 다중 모달 네트워크로 RGB-D 의미 분할 수행
초록

RGB-D 의미 분할 방법은 일반적으로 RGB 데이터와 깊이 데이터에서 특징을 추출하기 위해 두 개의 독립적인 인코더를 사용합니다. 그러나 이러한 인코더 간의 상호 의존성을 효과적으로 연결하는 융합 메커니즘이 부족하여, 여러 모달에서 제공되는 보완 정보를 완전히 활용하지 못하고 있습니다. 본 논문에서는 이러한 문제를 해결하기 위해 새로운 하향식 상호 융합 구조를 제안합니다. 이 구조는 인코더 간에 상호 연결을 위한 상호 작용 스트림을 도입합니다. 상호 작용 스트림은 단순히 인코더로부터 모달 특화된 특징들을 점진적으로 집계하는 데 그치지 않고, 이들에 대한 보완 특징도 계산합니다.이 구조를 구현하기 위해, 논문에서는 인코더 간의 상호 의존성을 정형화하기 위한 잔차 융합 블록(Residual Fusion Block, RFB)을 제안합니다. RFB는 두 개의 잔차 유닛과 게이트 메커니즘을 갖춘 하나의 융합 유닛으로 구성됩니다. 이는 모달 특화된 인코더에 대한 보완 특징을 학습하며, 모달 특화된 특징뿐만 아니라 교차 모달 특징도 추출합니다. RFB 기반으로, 본 논문에서는 RGB-D 의미 분할을 위한 깊은 다중 모달 네트워크인 RFBNet을 제시합니다. 두 데이터셋에서 수행한 실험 결과는 상호 의존성 모델링의 효과성을 입증하며, RFBNet이 최신 기술 수준의 성능을 달성하였음을 보여줍니다.