17日前

LayerNAS:多項式時間複雑度におけるニューラルアーキテクチャサーチ

Yicheng Fan, Dana Alon, Jingyue Shen, Daiyi Peng, Keshav Kumar, Yun Long, Xin Wang, Fotis Iliopoulos, Da-Cheng Juan, Erik Vee
LayerNAS:多項式時間複雑度におけるニューラルアーキテクチャサーチ
要約

ニューラルアーキテクチャサーチ(NAS)は、特にターゲットハードウェアに最適化された効果的なモデルアーキテクチャを発見するための有力な手法として広く注目されている。このような背景から、制約条件下で最適なアーキテクチャを探索するNAS手法の開発が不可欠となっている。本論文では、多目的NASの課題に応じて、これを組合せ最適化問題に変換する手法であるLayerNASを提案する。これにより、探索の複雑性を多項式時間に制限することが可能となる。$L$ 層からなるモデルアーキテクチャに対して、LayerNASは各層について層別探索を実施し、探索候補の集合 $\mathbb{S}$ から選択を行う。LayerNASは、モデルサイズやレイテンシといった一つの目的関数に基づいてモデル候補をグループ化し、別の目的関数に基づいて最適なモデルを探索することで、探索におけるコストと報酬の要素を分離する。このアプローチにより、探索の計算量は $ O(H \cdot |\mathbb{S}| \cdot L) $ に抑えることができ、ここで $H$ はLayerNASで事前に定義された定数である。実験の結果、NATS-BenchやMobileNetV2、MobileNetV3から導かれた多様な探索空間において、強力なベースライン手法と比較して、LayerNASが一貫して優れたモデルを発見できることを示した。

LayerNAS:多項式時間複雑度におけるニューラルアーキテクチャサーチ | 最新論文 | HyperAI超神経