Command Palette
Search for a command to run...
HeMIS: Heteromodale Bildsegmentierung
HeMIS: Heteromodale Bildsegmentierung
Mohammad Havaei Nicolas Guizard Nicolas Chapados Yoshua Bengio
Zusammenfassung
Wir stellen einen tiefen Lernansatz zur Bildsegmentierung vor, der extrem robust gegenüber fehlenden Bildmodalitäten ist. Anstatt versuchen zu wollen, fehlende Daten zu ergänzen oder zu synthetisieren, lernt der vorgeschlagene Ansatz für jede Modalität eine Einbettung des Eingangsbildes in einen einzigen latenten Vektorraum, in dem arithmetische Operationen (wie das Berechnen des Mittelwerts) gut definiert sind. Punkte in diesem Raum, die über die während der Inferenz verfügbaren Modalitäten gemittelt werden, können dann weiter verarbeitet werden, um die gewünschte Segmentierung zu erzeugen. Somit kann jede kombinatorische Teilmenge der verfügbaren Modalitäten als Eingabe bereitgestellt werden, ohne dass eine kombinatorische Anzahl von Ergänzungsmodellen gelernt werden muss. Bei der Auswertung anhand zweier neurologischer MRT-Datensätze (Hirntumoren und MS-Läsionen) liefert der Ansatz bei vollständiger Bereitstellung aller Modalitäten Stand-der-Technik-Ergebnisse in der Segmentierung; zudem verschlechtert sich seine Leistung bei Entfernung von Modalitäten bemerkenswert sanft, signifikant besser als alternative Mittelwert-Ergänzungs- oder andere Syntheseverfahren.