FairNAS: Neuaufnahme der Bewertungsgerechtigkeit beim geteilten Gewichtungs-Neuronalen Architektursuchverfahren

Eines der wichtigsten Probleme bei der Gewichts-Teilung in neuronalen Architektursuchverfahren ist die Bewertung von Kandidatenmodellen innerhalb eines vordefinierten Suchraums. In der Praxis wird ein One-Shot-Supernetz trainiert, um als Evaluierer zu dienen. Eine genaue Rangfolge führt zweifellos zu präziseren Suchergebnissen. Aktuelle Methoden sind jedoch anfällig für Fehleinschätzungen. In dieser Arbeit beweisen wir, dass ihre verzerrte Bewertung aufgrund einer inhärenten Ungerechtigkeit im Training des Supernetzes entsteht. Im Hinblick darauf schlagen wir zwei Ebenen von Einschränkungen vor: Erwartungsgerechtigkeit und strenge Gerechtigkeit. Insbesondere stellt strenge Gerechtigkeit gleiche Optimierungschancen für alle Wahlblöcke während des Trainings sicher, wodurch weder ihre Kapazität überschätzt noch unterschätzt wird. Wir zeigen, dass dies entscheidend ist, um das Vertrauen in die Rangfolge der Modelle zu erhöhen. Durch die Kombination des unter den vorgeschlagenen Gerechtigkeitsbedingungen trainierten One-Shot-Supernetzes mit einem mehrkriteriellen evolutionären Suchalgorithmus erhalten wir verschiedene state-of-the-art-Modelle, z.B. erreicht FairNAS-A eine Top-1-Validierungsgenauigkeit von 77,5 % auf ImageNet. Die Modelle und deren Bewertungscode werden öffentlich online verfügbar gemacht: http://github.com/fairnas/FairNAS.