MedFuse: 임상 시계열 데이터와 흉부 X선 영상의 다중 모드 융합

다중 모드 융합 접근법은 다양한 데이터 소스에서 정보를 통합하는 것을 목표로 합니다. 오디오-비주얼 애플리케이션과 같은 자연 데이터셋에서는 샘플이 "짝"으로 이루어진 모드를 포함하지만, 의료 분야의 데이터는 종종 비동기적으로 수집됩니다. 따라서 특정 샘플에 모든 모드가 필요하다는 요구는 임상 작업에 현실적이지 않으며, 훈련 중 데이터셋의 크기를 크게 제한합니다. 본 논문에서는 개념적으로 간단하면서도 유망한 LSTM 기반 융합 모듈인 MedFuse를 제안합니다. 이 모듈은 단일 모드와 다중 모드 입력 모두를 수용할 수 있습니다. 우리는 MIMIC-IV 데이터셋의 임상 시계열 데이터와 해당하는 MIMIC-CXR의 흉부 X선 영상을 사용하여 병원 내 사망 예측 및 현형 분류에 대한 새로운 벤치마크 결과를 소개하며, 융합 방법을 평가합니다. 더 복잡한 다중 모드 융합 전략과 비교하여 MedFuse는 완전히 짝을 맞춘 테스트 세트에서 큰 마진으로 성능 개선을 제공합니다. 또한 일부 짝을 맞춘 테스트 세트(흉부 X선 영상이 누락된 샘플 포함)에서도 강건성을 유지합니다. 우리는 재현성을 위해 코드를 공개하고, 미래에 경쟁 모델의 평가를 가능하게 하기 위해 이를 제공합니다.