Command Palette
Search for a command to run...
HeMIS : Segmentation d'Images Multimodales
HeMIS : Segmentation d'Images Multimodales
Mohammad Havaei Nicolas Guizard Nicolas Chapados Yoshua Bengio
Résumé
Nous présentons un cadre de segmentation d'images par apprentissage profond extrêmement robuste aux modalités d'imagerie manquantes. Au lieu d'essayer d'imputer ou de synthétiser les données manquantes, l'approche proposée apprend, pour chaque modalité, une empreinte de l'image d'entrée dans un seul espace vectoriel latent pour lequel des opérations arithmétiques (comme la prise de la moyenne) sont bien définies. Les points dans cet espace, qui sont moyennés sur les modalités disponibles au moment de l'inférence, peuvent ensuite être traités davantage pour produire la segmentation souhaitée. Ainsi, tout sous-ensemble combinatoire des modalités disponibles peut être fourni en entrée, sans avoir à apprendre un nombre combinatoire de modèles d'imputation. Évalué sur deux jeux de données IRM neurologiques (tumeurs cérébrales et lésions de la SP), cette approche produit des résultats de segmentation à l'état de l'art lorsque toutes les modalités sont fournies ; de plus, ses performances diminuent avec une élégance remarquable lorsque les modalités sont supprimées, significativement mieux que les approches alternatives de remplissage moyen ou autres méthodes de synthèse.