Beta-Rank: Eine robuste Methodik zur Pruning von Faltungsfiltern für die unbalancierte medizinische Bildanalyse

Da tiefe neuronale Netzwerke eine hohe Anzahl an Parametern und Operationen beinhalten, stellt die Implementierung dieser Modelle auf Geräten mit begrenzten Rechenressourcen eine Herausforderung dar. Trotz der Entwicklung neuer Pruning-Methoden zur Erzeugung ressourceneffizienter Modelle hat sich gezeigt, dass diese Modelle nicht in der Lage sind, mit „ungleichgewichtigen“ Datensätzen und einer „begrenzten Anzahl an Datenpunkten“ zurechtzukommen. Wir haben eine neuartige Filterpruning-Methode vorgestellt, die sowohl die Eingabe- als auch die Ausgabe von Filtern sowie die Werte der Filter berücksichtigt und somit besser mit ungleichgewichteten Datensätzen umgehen kann als bestehende Ansätze. Unsere Pruning-Methode berücksichtigt die Tatsache, dass nicht alle Informationen über die Bedeutung eines Filters in dessen Werten selbst enthalten sein müssen. Stattdessen spiegeln sich diese Informationen in den Veränderungen wider, die die Daten erfahren, nachdem der Filter auf sie angewendet wurde. In dieser Arbeit werden drei Methoden unter gleichen Trainingsbedingungen verglichen, wobei sich lediglich die Rangfolgewerte der einzelnen Methoden unterscheiden; außerdem werden 14 weitere Methoden aus anderen Arbeiten verglichen. Wir konnten nachweisen, dass unser Modell gegenüber anderen Ansätzen bei ungleichgewichteten medizinischen Datensätzen signifikant bessere Leistung erbringt. So konnte unser Modell bei der IDRID-Datenbank bis zu 58 % der FLOPs (Floating-Point Operations) reduzieren und bei der ISIC-Datenbank bis zu 45 %, wobei dennoch Ergebnisse erzielt wurden, die der Baseline entsprechen (oder sogar übertrifft). Um die Reduktion von FLOPs und Parametern in realen Anwendungsszenarien zu evaluieren, haben wir eine Smartphone-App entwickelt, in der wir eine Reduktion der Speichernutzung um bis zu 79 % und der Vorhersagezeit um bis zu 72 % demonstriert haben. Alle Quellcodes und Trainingsparameter für die verschiedenen Modelle sind unter https://github.com/mohofar/Beta-Rank verfügbar.