HyperAIHyperAI

Command Palette

Search for a command to run...

FairNAS: Neuaufnahme der Bewertungsgerechtigkeit beim geteilten Gewichtungs-Neuronalen Architektursuchverfahren

Xiangxiang Chu; Bo Zhang; Ruijun Xu

Zusammenfassung

Eines der wichtigsten Probleme bei der Gewichts-Teilung in neuronalen Architektursuchverfahren ist die Bewertung von Kandidatenmodellen innerhalb eines vordefinierten Suchraums. In der Praxis wird ein One-Shot-Supernetz trainiert, um als Evaluierer zu dienen. Eine genaue Rangfolge führt zweifellos zu präziseren Suchergebnissen. Aktuelle Methoden sind jedoch anfällig für Fehleinschätzungen. In dieser Arbeit beweisen wir, dass ihre verzerrte Bewertung aufgrund einer inhärenten Ungerechtigkeit im Training des Supernetzes entsteht. Im Hinblick darauf schlagen wir zwei Ebenen von Einschränkungen vor: Erwartungsgerechtigkeit und strenge Gerechtigkeit. Insbesondere stellt strenge Gerechtigkeit gleiche Optimierungschancen für alle Wahlblöcke während des Trainings sicher, wodurch weder ihre Kapazität überschätzt noch unterschätzt wird. Wir zeigen, dass dies entscheidend ist, um das Vertrauen in die Rangfolge der Modelle zu erhöhen. Durch die Kombination des unter den vorgeschlagenen Gerechtigkeitsbedingungen trainierten One-Shot-Supernetzes mit einem mehrkriteriellen evolutionären Suchalgorithmus erhalten wir verschiedene state-of-the-art-Modelle, z.B. erreicht FairNAS-A eine Top-1-Validierungsgenauigkeit von 77,5 % auf ImageNet. Die Modelle und deren Bewertungscode werden öffentlich online verfügbar gemacht: http://github.com/fairnas/FairNAS.


KI mit KI entwickeln

Von der Idee bis zum Launch – beschleunigen Sie Ihre KI-Entwicklung mit kostenlosem KI-Co-Coding, sofort einsatzbereiter Umgebung und bestem GPU-Preis.

KI-gestütztes kollaboratives Programmieren
Sofort einsatzbereite GPUs
Die besten Preise

HyperAI Newsletters

Abonnieren Sie unsere neuesten Updates
Wir werden die neuesten Updates der Woche in Ihren Posteingang liefern um neun Uhr jeden Montagmorgen
Unterstützt von MailChimp