17日前
効率的な性能推定を備えたガイド付き進化的ニューラルアーキテクチャ探索
Vasco Lopes, Miguel Santos, Bruno Degardin, Luís A. Alexandre

要約
ニューラルアーキテクチャサーチ(NAS)手法は、画像処理タスクにおいて優れた成果を上げるなど、成功裏に応用されてきた。しかし、NAS手法は一般的に複雑であり、生成されたアーキテクチャが良好な結果を示すとすぐに局所最適解に収束してしまう傾向がある。本論文では、ガイド付きNASのための新しいアプローチであるGEA(Guided Evolutionary Architecture search)を提案する。GEAは、初期化段階においてゼロプロキシ推定器を用いて複数のアーキテクチャを生成・評価することで探索空間を探索し、その中でスコアが最も高い1つのアーキテクチャのみを次の世代に引き継ぐ形で進化を導く。その後、GEAは各世代において既存のアーキテクチャから複数のオフスプリングを生成することで、計算コストの増加を伴わずに探索空間に関する知識を継続的に抽出する。さらに、GEAは子孫生成を通じて最も性能の高いアーキテクチャを強化(exploitation)しつつ、親アーキテクチャの突然変異による探索(exploration)を促進し、古いアーキテクチャよりも若いアーキテクチャを優遇する仕組みを導入している。実験結果により、提案手法の有効性が示され、広範なアブレーションスタディによって各パラメータの重要性が評価された。その結果、GEAはNAS-Bench-101、NAS-Bench-201、TransNAS-Bench-101のすべてのベンチマークにおいて、最先端の性能を達成した。