HyperAIHyperAI

Command Palette

Search for a command to run...

HeMIS: Heteromodale Bildsegmentierung

Mohammad Havaei Nicolas Guizard Nicolas Chapados Yoshua Bengio

Zusammenfassung

Wir stellen einen tiefen Lernansatz zur Bildsegmentierung vor, der extrem robust gegenüber fehlenden Bildmodalitäten ist. Anstatt versuchen zu wollen, fehlende Daten zu ergänzen oder zu synthetisieren, lernt der vorgeschlagene Ansatz für jede Modalität eine Einbettung des Eingangsbildes in einen einzigen latenten Vektorraum, in dem arithmetische Operationen (wie das Berechnen des Mittelwerts) gut definiert sind. Punkte in diesem Raum, die über die während der Inferenz verfügbaren Modalitäten gemittelt werden, können dann weiter verarbeitet werden, um die gewünschte Segmentierung zu erzeugen. Somit kann jede kombinatorische Teilmenge der verfügbaren Modalitäten als Eingabe bereitgestellt werden, ohne dass eine kombinatorische Anzahl von Ergänzungsmodellen gelernt werden muss. Bei der Auswertung anhand zweier neurologischer MRT-Datensätze (Hirntumoren und MS-Läsionen) liefert der Ansatz bei vollständiger Bereitstellung aller Modalitäten Stand-der-Technik-Ergebnisse in der Segmentierung; zudem verschlechtert sich seine Leistung bei Entfernung von Modalitäten bemerkenswert sanft, signifikant besser als alternative Mittelwert-Ergänzungs- oder andere Syntheseverfahren.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp