NAS-LID: Effiziente neuronale Architektursuche mit lokaler intrinsischer Dimension

Ein-Shot-Neuronale Architektursuche (NAS) verbessert die Sucheffizienz erheblich, indem ein einziger Supernet trainiert wird, um die Leistung jeder möglichen Kindarchitektur (d. h. Subnetz) zu schätzen. Allerdings verursacht die Inkonstanz der Eigenschaften zwischen den Subnetzen erhebliche Störungen während der Optimierung, was zu einer schlechten Korrelation der Leistungsrankings der Subnetze führt. Nachfolgende Ansätze dekomponieren die Supernet-Gewichte anhand eines spezifischen Kriteriums, beispielsweise der Gradientenübereinstimmung, um die Störungen zu verringern; sie leiden jedoch unter hohem Rechenaufwand und geringer räumlicher Trennbarkeit. In dieser Arbeit präsentieren wir eine leichtgewichtige und effektive Methode basierend auf der lokalen intrinsischen Dimension (LID), NAS-LID. NAS-LID bewertet die geometrischen Eigenschaften von Architekturen durch schichtweise Berechnung kostengünstiger LID-Features. Die durch LID charakterisierte Ähnlichkeit weist im Vergleich zu Gradienten eine bessere Trennbarkeit auf, wodurch die Störungen zwischen den Subnetzen effektiv reduziert werden. Umfangreiche Experimente auf NASBench-201 zeigen, dass NAS-LID eine überlegene Leistung mit höherer Effizienz erzielt. Insbesondere kann NAS-LID im Vergleich zu gradientenbasierten Methoden bei der Suche auf NASBench-201 bis zu 86 % des GPU-Speicheroverheads einsparen. Wir demonstrieren zudem die Wirksamkeit von NAS-LID in den Räumen von ProxylessNAS und OFA. Quellcode: https://github.com/marsggbo/NAS-LID.