NASI: label- und datenunabhängige neuronale Architektursuche bei Initialisierung

In den letzten Jahren hat sich ein starkes Interesse an der Neural Architecture Search (NAS) entwickelt. Verschiedene Algorithmen wurden vorgeschlagen, um die Sucheffizienz und Wirksamkeit von NAS zu verbessern, d. h. die Suchkosten zu senken und die Generalisierungsfähigkeit der ausgewählten Architekturen zu erhöhen. Allerdings ist die Sucheffizienz dieser Algorithmen erheblich durch den Bedarf an Modelltrainings während des Suchprozesses eingeschränkt. Um diese Einschränkung zu überwinden, schlagen wir einen neuen NAS-Algorithmus namens NAS at Initialization (NASI) vor, der die Fähigkeit des Neural Tangent Kernel (NTK) nutzt, die konvergierte Leistung kandidatener Architekturen bereits im Initialisierungsstadium zu charakterisieren. Dadurch kann das Modelltraining vollständig vermieden werden, was die Sucheffizienz erheblich steigert. Neben der verbesserten Sucheffizienz erzielt NASI zudem konkurrenzfähige Suchwirksamkeit auf verschiedenen Datensätzen wie CIFAR-10/100 und ImageNet. Darüber hinaus zeigt sich, dass NASI unter milden Bedingungen labels- und datenunabhängig ist, was die Übertragbarkeit der von NASI ausgewählten Architekturen auf unterschiedliche Datensätze gewährleistet.