Fair DARTS: Die Beseitigung von unfairen Vorteilen bei der differenzierbaren Architektursuche

Differentiable Architecture Search (DARTS) ist mittlerweile eine weit verbreitete Methode des gewichtsteilenden neuronalen Architektursuchens. Dennoch leidet sie unter dem gut bekannten Phänomen der Leistungsdegradation, die auf eine unvermeidbare Ansammlung von Skip-Verbindungen zurückzuführen ist. In dieser Arbeit offenbaren wir erstmals, dass die Ursache hierfür in einem unfairen Vorteil bei exklusiver Konkurrenz liegt. Durch Experimente zeigen wir, dass die Degradation verschwindet, sobald eine der beiden folgenden Bedingungen verletzt wird. Daraus leiten wir einen neuen Ansatz namens Fair DARTS ab, bei dem die exklusive Konkurrenz durch eine kooperative Interaktion ersetzt wird. Konkret lassen wir die architektonischen Gewichte jeder Operation unabhängig von den anderen sein. Es bleibt jedoch eine wichtige Herausforderung hinsichtlich der Diskretisierungs-Diskrepanz. Um dies zu adressieren, schlagen wir eine Null-Eins-Verlustfunktion vor, die die architektonischen Gewichte in Richtung Null oder Eins drängt und somit eine erwartete Multi-Hot-Lösung approximiert. Unsere Experimente wurden auf zwei etablierten Suchräumen durchgeführt, und wir erreichen neue SOTA-Ergebnisse auf CIFAR-10 und ImageNet. Unser Quellcode ist unter https://github.com/xiaomi-automl/fairdarts verfügbar.