DiNTS: Differentiable Neural Network Topology Search für die 3D-medizinische Bildsegmentierung

Kürzlich wurde die neuronale Architektursuche (Neural Architecture Search, NAS) eingesetzt, um automatisch hochleistungsfähige Netzwerke für die Segmentierung medizinischer Bilder zu finden. Der Suchraum der NAS umfasst typischerweise eine Netzwerktopologie-Ebene (die Verbindungen zwischen Zellen mit unterschiedlichen räumlichen Skalen steuert) und eine Zellebene (die Operationen innerhalb jeder Zelle definiert). Bestehende Methoden erfordern entweder lange Suchzeiten bei großen 3D-Bilddatensätzen oder sind auf vordefinierte Topologien (wie U-förmige oder einpfadige Architekturen) beschränkt. In dieser Arbeit konzentrieren wir uns auf drei zentrale Aspekte der NAS bei der Segmentierung 3D-medizinischer Bilder: flexible mehrpfadige Netzwerktopologie, hohe Sucheffizienz und begrenzter GPU-Speicherverbrauch. Wir stellen einen neuartigen differenzierbaren Suchrahmen vor, der eine schnelle, gradientenbasierte Suche innerhalb eines hochflexiblen Suchraums für Netzwerktopologien ermöglicht. Die Diskretisierung des optimalen kontinuierlichen Modells, das durch den differenzierbaren Ansatz gefunden wurde, kann zu einem suboptimalen diskreten Endmodell führen (sog. Diskretisierungslücke). Um dieses Problem zu mildern, schlagen wir eine Topologie-Verlustfunktion vor. Darüber hinaus wird der GPU-Speicherverbrauch für das gesuchte 3D-Modell während der Suche durch Budgetbeschränkungen kontrolliert. Unser differenzierbarer Ansatz zur Netzwerktopologie-Suche (Differentiable Network Topology Search, DiNTS) wird auf der Medical Segmentation Decathlon (MSD)-Challenge evaluiert, die zehn anspruchsvolle Segmentierungsaufgaben umfasst. Unsere Methode erreicht die derzeit beste Leistung und belegt die Spitzenposition in der Rangliste der MSD-Challenge.