MMSFormer: 다중 모드 변환기 для 재료 및 의미 분할

다양한 모달리티에서 정보를 활용하는 것은 다중모달 분할 작업의 성능을 향상시키는 것으로 알려져 있습니다. 그러나 각 모달리티의 고유한 특성 때문에 다양한 모달리티 간의 정보 융합은 여전히 어려움을 겪고 있습니다. 본 논문에서는 다양한 모달리티 조합으로부터 효과적으로 정보를 융합할 수 있는 새로운 융합 전략을 제안합니다. 또한, 제안된 융합 전략을 통합하여 다중모달 재료 및 의미 분할 작업을 수행하는 새로운 모델인 Multi-Modal Segmentation TransFormer (MMSFormer)를 소개합니다. MMSFormer는 세 가지 다른 데이터셋에서 현재 최신 기술 모델들을 능가하는 성능을 보여주었습니다. 단일 입력 모달리티로 시작하여 추가적인 모달리티가 포함될수록 성능이 점진적으로 향상되는 결과를 통해 융합 블록이 다양한 입력 모달리티로부터 유용한 정보를 결합하는 데 효과적임을 입증하였습니다. 아블레이션 연구는 융합 블록 내의 다양한 모듈이 전체 모델 성능에 필수적임을 보여주며, 또한 다른 입력 모달리티가 다양한 재료 유형의 식별 성능 개선에 기여할 수 있음을 강조하였습니다. 코드와 사전 학습된 모델들은 https://github.com/csiplab/MMSFormer에서 제공될 예정입니다.