Command Palette
Search for a command to run...
μDARTS: Modellunsicherheitsbewusste differenzierbare Architektursuche
μDARTS: Modellunsicherheitsbewusste differenzierbare Architektursuche
Biswadeep Chakraborty Saibal Mukhopadhyay
Zusammenfassung
Wir präsentieren ein modellunsicherheitsbewusstes differenzierbares Architektursuchverfahren (μDARTS), das darauf abzielt, neuronale Netze gleichzeitig für hohe Genauigkeit und geringe Unsicherheit zu optimieren. Innerhalb der DARTS-Zellen führen wir konkrete Dropout-Techniken ein und integrieren einen Monte-Carlo-Regularisierer in die Trainingsverlustfunktion, um die Wahrscheinlichkeiten des konkreten Dropout zu optimieren. In der Validierungsverlustfunktion wird ein prädiktiver Varianzterm eingeführt, um die Suche nach Architekturen mit minimaler Modellunsicherheit zu ermöglichen. Experimente an den Datensätzen CIFAR10, CIFAR100, SVHN und ImageNet bestätigen die Wirksamkeit von μDARTS im Vergleich zu bestehenden DARTS-Methoden, indem sowohl die Genauigkeit verbessert als auch die Unsicherheit reduziert wird. Zudem zeigt die schließlich aus μDARTS gewonnene Architektur eine höhere Robustheit gegenüber Rauschen in den Eingabebildern und Modellparametern im Vergleich zu Architekturen, die mit bestehenden DARTS-Verfahren ermittelt wurden.