Command Palette
Search for a command to run...
HeMIS: ヒエロモーダル画像セグメンテーション
HeMIS: ヒエロモーダル画像セグメンテーション
Mohammad Havaei Nicolas Guizard Nicolas Chapados Yoshua Bengio
概要
本研究では、画像モダリティが欠落している場合でも非常に堅牢な深層学習に基づく画像セグメンテーションフレームワークを紹介します。提案手法は、欠落データの補完や合成を試みるのではなく、各モダリティに対して入力画像を単一の潜在ベクトル空間に埋め込む方法を学習します。この空間において算術演算(平均を取るなど)が明確に定義されています。推論時に利用可能なモダリティの平均値を取り、その点をさらに処理することで望ましいセグメンテーション結果を得ることができます。したがって、利用可能な任意の組み合わせのサブセットを入力として提供することができますが、組み合わせ数だけの補完モデルを学習する必要はありません。脳腫瘍と多発性硬化症病変の2つの神経学的MRIデータセットで評価した結果、全モダリティが提供された場合、提案手法は最先端のセグメンテーション性能を示しました。また、モダリティが欠落しても性能は非常に穏やかに低下し、代替の平均値充填法や他の合成手法よりも著しく優れています。