Wenn NAS auf Bäume trifft: Ein effizienter Algorithmus für die neuronale Architektursuche

Die zentrale Herausforderung bei der neuronalen Architektursuche (Neural Architecture Search, NAS) besteht darin, weise im riesigen Suchraum zu suchen. Wir stellen eine neue NAS-Methode namens TNAS (NAS mit Bäumen) vor, die die Sucheffizienz verbessert, indem nur eine geringe Anzahl von Architekturen erforscht wird, gleichzeitig jedoch eine höhere Suchgenauigkeit erreicht wird. TNAS führt einen Architekturbaum und einen binären Operationsbaum ein, um den Suchraum zu faktorisieren und die Suchgröße erheblich zu reduzieren. TNAS führt eine modifizierte zweistufige Tiefensuche (Breadth-First Search) in den vorgeschlagenen Bäumen durch, um eine hochleistungsfähige Architektur zu identifizieren. Beeindruckend ist, dass TNAS in NAS-Bench-201 innerhalb von vier GPU-Stunden die globale optimale Architektur auf CIFAR-10 findet, die eine Testgenauigkeit von 94,37 % erreicht. Die durchschnittliche Testgenauigkeit beträgt 94,35 %, was die derzeitigen State-of-the-Art-Methoden übertrifft. Der Quellcode ist unter folgender URL verfügbar: \url{https://github.com/guochengqian/TNAS}.