HyperDense-Net: Ein hyperdicht verbundenes CNN für die multimodale Bildsegmentierung

Kürzlich haben dichte Verbindungen in der Computer Vision erhebliche Aufmerksamkeit erhalten, da sie den Gradientenfluss und die implizite tiefgreifende Überwachung während des Trainings erleichtern. Insbesondere hat DenseNet, das jede Schicht mit jeder anderen Schicht in einem feedforward-Muster verbindet, beeindruckende Leistungen bei Klassifikationsaufgaben natürlicher Bilder gezeigt. Wir schlagen HyperDenseNet vor, ein 3D-fully convolutionales neuronales Netzwerk, das die Definition dichter Verbindungen auf multimodale Segmentierungsprobleme erweitert. Jede Bildmodifikation hat einen Pfad, und dichte Verbindungen treten nicht nur zwischen den Schichtenpaaren innerhalb desselben Pfades auf, sondern auch zwischen denen über verschiedene Pfade hinweg. Dies steht im Gegensatz zu den bestehenden multimodalen CNN-Ansätzen, bei denen die Modellierung mehrerer Modalitäten vollständig auf einer einzelnen gemeinsamen Schicht (oder Abstraktionsebene) für die Fusion basiert, typischerweise entweder am Eingang oder am Ausgang des Netzes. Daher verfügt das vorgeschlagene Netzwerk über volle Freiheit, komplexere Kombinationen zwischen den Modalitäten zu lernen, sowohl innerhalb als auch zwischen allen Abstraktionsebenen, was die Lernrepräsentation erheblich erhöht. Wir berichten umfangreiche Evaluierungen an zwei verschiedenen und hochwettbewerbsfähigen multimodalen Hirngewebssegmentierungsaufgaben, dem iSEG 2017 und dem MRBrainS 2013-Wettbewerb, wobei der erstere sich auf Daten von sechsmonatigen Säuglingen konzentriert und der letztere auf Erwachsenenbildern. HyperDenseNet erzielte signifikante Verbesserungen gegenüber vielen state-of-the-art-Segmentierungsnetzwerken und rangierte an beiden Benchmarks an oberster Stelle. Darüber hinaus liefern wir eine umfassende experimentelle Analyse der Wiederverwendung von Merkmalen (features re-use), die die Bedeutung hyper-dicter Verbindungen beim Lernen multimodaler Repräsentationen bestätigt. Unser Code ist öffentlich verfügbar unter https://www.github.com/josedolz/HyperDenseNet.