IS-DARTS: Stabilisierung von DARTS durch präzise Messung der Kandidatentwicklung

Unter den bestehenden Methoden des Neural Architecture Search (NAS) ist DARTS aufgrund seiner Effizienz und Einfachheit bekannt. Dieser Ansatz verwendet eine kontinuierliche Relaxation der Netzwerkrepräsentation, um einen gewichtsteilenden Supernetzwerk zu konstruieren, und ermöglicht die Identifikation hochwertiger Subnetze bereits innerhalb weniger GPU-Tage. Allerdings führt die Leistungseinbruch-Phänomen in DARTS zu Architekturen, die überwiegend aus parameterfreien Operationen bestehen, und stellt weiterhin eine große Herausforderung für die Robustheit dar. Um dieses Problem zu lösen, zeigen wir durch theoretische und experimentelle Analysen, dass die grundlegende Ursache in einer verzerrten Schätzung der Relevanz von Kandidatoperationen im Suchraum liegt. Wir wählen daher Operationen präziser mittels informationsbasierten Maßstäben aus. Darüber hinaus belegen wir, dass die übermäßige Berücksichtigung des Supernetzwerks und die ineffiziente Nutzung von Daten im bi-level-Optimierungsprozess ebenfalls zu suboptimalen Ergebnissen führen. Wir formulieren ein realistischeres Ziel, das sich auf die Leistung der Subnetze konzentriert, und vereinfachen es mithilfe informationsbasierter Maßstäbe. Schließlich erklären wir theoretisch, warum das schrittweise Verengen der Breite des Supernetzwerks notwendig ist, um den Approximationsfehler optimaler Gewichte in DARTS zu reduzieren. Unser vorgeschlagener Ansatz, IS-DARTS genannt, verbessert DARTS umfassend und löst die oben genannten Probleme. Umfangreiche Experimente auf NAS-Bench-201 und dem DARTS-basierten Suchraum belegen die Wirksamkeit von IS-DARTS.