GreenMachine: Automatischer Entwurf kostenloser Proxy-Modelle für energieeffizientes NAS

Künstliche Intelligenz (KI) hat Innovationen in verschiedenen Sektoren vorangetrieben und neue Möglichkeiten geschaffen. Dennoch erfordert die Nutzung wissensspezifischer Kenntnisse oft automatisierte Werkzeuge, um Modelle effektiv zu entwerfen und zu konfigurieren. Im Fall von tiefen neuronalen Netzen (DNNs) greifen Forscher und Praktiker in der Regel auf Ansätze des neuronalen Architektursuchens (NAS) zurück, die ressourcen- und zeitintensiv sind und das Training und die Bewertung zahlreicher Kandidatenarchitekturen erfordern. Dies wirft Nachhaltigkeitsfragen auf, insbesondere aufgrund der hohen Energieanforderungen, was ein Paradoxon schafft: Die Suche nach dem effektivsten Modell kann die Nachhaltigkeitsziele untergraben. Um dieses Problem zu mildern, bieten sich Nullkosten-Proxies als vielversprechende Alternative an. Diese Proxies schätzen die Leistung eines Modells ohne vollständiges Training ein, was einen effizienteren Ansatz bietet. In dieser Arbeit werden die Herausforderungen der Modellbewertung durch automatische Entwürfe von Nullkosten-Proxies angegangen, um DNNs effizient zu bewerten. Unsere Methode beginnt mit einer zufällig generierten Menge von Nullkosten-Proxies, die mithilfe des NATS-Bench-Benchmarks entwickelt und getestet werden. Wir bewerten die Effektivität der Proxies sowohl anhand zufällig ausgewählter Teilmengen als auch stratifizierter Teilmengen des Suchraums, um sicherzustellen, dass sie zwischen schlecht und gut performierenden Netzwerken unterscheiden können und ihre Allgemeinheit erhöhen. Die Ergebnisse zeigen, dass unsere Methode bei der stratifizierten Stichprobenziehung bestehende Ansätze übertrifft und starke Korrelationen zur tatsächlichen Leistung erreicht, darunter eine Kendall-Korrelation von 0,89 auf CIFAR-10 und 0,77 auf CIFAR-100 mit NATS-Bench-SSS sowie eine Kendall-Korrelation von 0,78 auf CIFAR-10 und 0,71 auf CIFAR-100 mit NATS-Bench-TSS.