GreenMachine: エネルギー効率の高いNASのためのゼロコストプロキシの自動設計

人工知能（AI）はさまざまな分野で革新を推進し、新たな機会を創出しています。しかし、特定のドメインの知識を活用するには、モデルを効果的に設計および構成する自動化ツールが必要となることがよくあります。深層ニューラルネットワーク（DNNs）の場合、研究者や実務者は通常、リソースと時間のかかるニューラルアーキテクチャサーチ（NAS）手法に頼っています。これは多数の候補アーキテクチャの訓練と評価を必要とするため、持続可能性に関する懸念が高まっています。特に、高いエネルギー需要が関与していることから、最も効果的なモデルを目指すことが持続可能性目標を損なうというパラドックスが生じています。この問題を緩和するために、ゼロコストプロキシが有望な代替手段として登場しました。これらのプロキシは完全な訓練なしでモデルの性能を推定し、より効率的なアプローチを提供します。本論文では、モデル評価の課題に対処するために、DNNsの性能評価に自動的にゼロコストプロキシを設計する方法について述べています。当社の手法は、ランダムに生成された一連のゼロコストプロキシから始まり、NATS-Benchベンチマークを使用して進化させます。また、検索空間からのランダムサンプリングと層別サンプリングの両サブセットを使用してプロキシの有効性を評価し、低性能と高性能ネットワークを見分ける能力と汎化性を確認しています。結果は当社の手法が既存の手法よりも優れており、層別サンプリング戦略において真値性能との強い相関関係を達成していることを示しています。具体的には、NATS-Bench-SSSではCIFAR-10でケンドール相関係数0.89、CIFAR-100で0.77であり、NATS-Bench-TSSではCIFAR-10で0.78、CIFAR-100で0.71となっています。