$μ$DARTS: Modellunsicherheitsbewusste differenzierbare Architektursuche

Wir präsentieren ein modellunsicherheitsbewusstes differenzierbares Architektursuchverfahren ($μ$DARTS), das darauf abzielt, neuronale Netze gleichzeitig für hohe Genauigkeit und geringe Unsicherheit zu optimieren. Innerhalb der DARTS-Zellen führen wir konkrete Dropout-Techniken ein und integrieren einen Monte-Carlo-Regularisierer in die Trainingsverlustfunktion, um die Wahrscheinlichkeiten des konkreten Dropout zu optimieren. In der Validierungsverlustfunktion wird ein prädiktiver Varianzterm eingeführt, um die Suche nach Architekturen mit minimaler Modellunsicherheit zu ermöglichen. Experimente an den Datensätzen CIFAR10, CIFAR100, SVHN und ImageNet bestätigen die Wirksamkeit von $μ$DARTS im Vergleich zu bestehenden DARTS-Methoden, indem sowohl die Genauigkeit verbessert als auch die Unsicherheit reduziert wird. Zudem zeigt die schließlich aus $μ$DARTS gewonnene Architektur eine höhere Robustheit gegenüber Rauschen in den Eingabebildern und Modellparametern im Vergleich zu Architekturen, die mit bestehenden DARTS-Verfahren ermittelt wurden.