RGB-T 의미 분할을 위한 변분 확률적 융합 네트워크

RGB-T 의미 분할은 조명 조건이 열악한 어려운 장면을 처리하기 위해 RGB 이미지와 적외선 이미지의 서로 다른 모달리티 특성을 융합하는 방법으로 널리 채택되어 왔습니다. 기존 방법들은 최적의 융합 특성을 찾아 분할하는데 사용하려고 시도하였으나, 이로 인해 모달리티 노이즈, 클래스 불균형, 그리고 모달리티 편향에 민감하게 반응하는 문제가 발생하였습니다. 이러한 문제를 해결하기 위해 본 논문에서는 새로운 변분 확률적 융합 네트워크(Variational Probabilistic Fusion Network, VPFNet)를 제안합니다. VPFNet은 융합 특성을 랜덤 변수로 간주하고, 여러 샘플의 융합 특성 하에서 분할 결과를 평균화하여 강건한 분할을 얻는 방식입니다. VPFNet에서의 융합 특성의 랜덤 샘플 생성은 변분 주의 메커니즘을 기반으로 설계된 새로운 변분 특성 융합 모듈(Variational Feature Fusion Module, VFFM)을 통해 실현됩니다. 클래스 불균형과 모달리티 편향을 더욱 피하기 위해 가중 크로스 엔트로피 손실 함수를 사용하고, 조명 및 카테고리에 대한 사전 정보를 도입하여 제안된 VFFM을 제어합니다. MFNet 및 PST900 데이터셋에서 수행된 실험 결과는 제안된 VPFNet이 최신 수준의 분할 성능을 달성할 수 있음을 입증하였습니다.