물질의 시각적 특징을 인식하는 것은 컴퓨터 비전 작업, 특히 실제 세계와의 상호작용을 포함하는 과제에서 필수적이다. 물질 세그멘테이션, 즉 픽셀 단위로 밀도 있게 물질을 인식하는 작업은 객체와 달리 일반적인 RGB 이미지에서 명확한 시각적 특징을 보이지 않기 때문에 여전히 도전 과제로 남아 있다. 그러나 다양한 물질은 각각 고유한 방사 에너지적 특성을 가지며, 이는 종종 RGB가 아닌 비-RGB 이미징 모달리티를 통해 포착할 수 있다. 본 연구에서는 RGB, 편광, 근적외선 이미지 등 다중 모달 이미지를 활용하여 다중 모달 물질 세그멘테이션을 수행한다. 이를 위해 42개의 도로 환경을 촬영한 총 500세트의 다중 모달 이미지를 포함하는 MCubeS 데이터셋(MultiModal Material Segmentation에서 유래)을 제안한다. 모든 이미지 및 픽셀에 대해 진짜 물질 세그멘테이션과 의미론적 세그멘테이션 레이블이 제공된다. 또한, 각 물질 클래스에 대해 가장 정보가 풍부한 이미징 모달리티 조합을 학습할 수 있도록 새로운 영역 유도형 필터 선택(RGFS, Region-Guided Filter Selection) 레이어를 도입한 새로운 딥 신경망 MCubeSNet을 제안한다. 이 필터 선택 과정은 의미론적 세그멘테이션 결과를 사전 지식으로 활용하여 안내한다. 본 연구는 다중 모달 물질 세그멘테이션에 대한 최초의 종합적인 연구로, 현재까지 알려진 바에 따르면 최초의 진정한 다중 모달 물질 세그멘테이션 연구이다. 본 연구가 안전이 중요한 응용 분야에서 물질 정보의 실용적 활용을 위한 새로운 길을 열어줄 것이라 믿는다.