GAMUS: 원격 탐사 데이터를 위한 기하학적 인지 다중 모달 세분화 기준

정규화된 디지털 표면 모델(nDSM)에서의 기하학적 정보는 지표면의 의미적 클래스와 매우 높은 상관관계를 가진다. RGB와 nDSM(고도)라는 두 가지 모달리티를 함께 활용하는 것은 세분화 성능을 향상시킬 잠재력이 크다. 그러나 다음과 같은 도전 과제들로 인해 이 분야는 원격 탐사 분야에서 여전히 탐색이 부족한 상태이다. 첫째, 기존 데이터셋의 규모가 상대적으로 작고, 데이터셋의 다양성이 제한되어 있어 검증 능력이 제약된다. 둘째, 성능 평가를 위한 통일된 벤치마크가 부족하여 다양한 모델의 효과성을 비교하는 데 어려움이 있다. 셋째, 원격 탐사 데이터에 대해 고도로 발전된 다중 모달 세분화 기법이 충분히 탐구되지 않았다. 이러한 문제들을 해결하기 위해 본 논문에서는 RGB-고도(RGB-H) 데이터 기반의 새로운 원격 탐사 벤치마크 데이터셋을 제안한다. 기존 방법들을 공정하고 포괄적으로 분석하기 위해 제안된 벤치마크는 1) 정합된 RGB와 nDSM 쌍 및 픽셀 단위 의미적 레이블을 포함하는 대규모 데이터셋, 2) 합성곱 신경망과 Transformer 기반 네트워크 모두에 대해 기존 다중 모달 융합 전략에 대한 포괄적인 평가 및 분석을 포함한다. 또한, 적응형 토큰 단위의 다중 모달 융합을 통해 의미적 세분화 성능을 향상시키기 위해 새로운 효과적인 Transformer 기반 중간 다중 모달 융합(TIMF) 모듈을 제안한다. 설계된 벤치마크는 원격 탐사 데이터에서의 새로운 다중 모달 학습 방법 개발을 촉진할 수 있으며, 실험 결과를 통해 다양한 방법에 대한 광범위한 분석과 유의미한 통찰을 제공한다. 벤치마크 및 기준 모델의 코드는 \url{https://github.com/EarthNets/RSI-MMSegmentation}에서 접근할 수 있다.