HyperAIHyperAI

Command Palette

Search for a command to run...

Fair DARTS: Die Beseitigung von unfairen Vorteilen bei der differenzierbaren Architektursuche

Xiangxiang Chu Tianbao Zhou Bo Zhang Jixiang Li

Zusammenfassung

Differentiable Architecture Search (DARTS) ist mittlerweile eine weit verbreitete Methode des gewichtsteilenden neuronalen Architektursuchens. Dennoch leidet sie unter dem gut bekannten Phänomen der Leistungsdegradation, die auf eine unvermeidbare Ansammlung von Skip-Verbindungen zurückzuführen ist. In dieser Arbeit offenbaren wir erstmals, dass die Ursache hierfür in einem unfairen Vorteil bei exklusiver Konkurrenz liegt. Durch Experimente zeigen wir, dass die Degradation verschwindet, sobald eine der beiden folgenden Bedingungen verletzt wird. Daraus leiten wir einen neuen Ansatz namens Fair DARTS ab, bei dem die exklusive Konkurrenz durch eine kooperative Interaktion ersetzt wird. Konkret lassen wir die architektonischen Gewichte jeder Operation unabhängig von den anderen sein. Es bleibt jedoch eine wichtige Herausforderung hinsichtlich der Diskretisierungs-Diskrepanz. Um dies zu adressieren, schlagen wir eine Null-Eins-Verlustfunktion vor, die die architektonischen Gewichte in Richtung Null oder Eins drängt und somit eine erwartete Multi-Hot-Lösung approximiert. Unsere Experimente wurden auf zwei etablierten Suchräumen durchgeführt, und wir erreichen neue SOTA-Ergebnisse auf CIFAR-10 und ImageNet. Unser Quellcode ist unter https://github.com/xiaomi-automl/fairdarts verfügbar.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp
Fair DARTS: Die Beseitigung von unfairen Vorteilen bei der differenzierbaren Architektursuche | Paper | HyperAI