多モーダル融合手法は、異なるデータソースからの情報を統合することを目指しています。音声視覚アプリケーションなどの自然なデータセットとは異なり、サンプルが「ペア」のモーダルから構成されるのではなく、医療分野のデータはしばしば非同期に収集されます。したがって、特定のサンプルに対してすべてのモーダルを必要とするのは臨床タスクにおいて現実的ではなく、訓練中にデータセットのサイズを大幅に制限します。本論文では、概念的には単純ながら有望なLSTMベースの融合モジュールであるMedFuseを提案します。このモジュールは、単一モーダルおよび多モーダル入力を扱うことができます。MIMIC-IVデータセット内の臨床時系列データと対応するMIMIC-CXR内の胸部X線画像を使用して、病院内死亡予測とフェノタイプ分類に対する融合手法を評価し、新しいベンチマーク結果を導入します。より複雑な多モーダル融合戦略と比較して、MedFuseは完全にペアになったテストセットで大幅な性能向上を提供します。また、胸部X線画像が欠落しているサンプルを含む部分的にペアになったテストセットでも堅牢性を保っています。我々は再現性のためにコードを公開し、将来競合モデルの評価を可能にします。科技/学术术语处理：- 多モーダル（multi-modal）- 融合（fusion）- データソース（data sources）- 音声視覚アプリケーション（audio-visual applications）- 医療分野（healthcare）- 非同期（asynchronously）- 臨床タスク（clinical tasks）- LSTMベース（LSTM-based）- 融合モジュール（fusion module）- 単一モーダル（uni-modal）- 多モーダル入力（multi-modal input）- 病院内死亡予測（in-hospital mortality prediction）- フェノタイプ分類（phenotype classification）- 臨床時系列データ（clinical time-series data）- MIMIC-IVデータセット（MIMIC-IV dataset）- 胸部X線画像（chest X-ray images）- MIMIC-CXRデータセット（MIMIC-CXR dataset）