18日前

トレーニングフリー評価を用いたファイヤーフライアルゴリズムとの混合によるNeural Architecture Searchの改善

{Pierre De Loor, Marlène Gilles, Alexis Nédélec, Nassim Mokhtari}
要約

ニューラルアーキテクチャ探索(Neural Architecture Search: NAS)アルゴリズムは、深層ニューラルネットワークの設計を自動化するために用いられる。特定のデータセットに対して最適なアーキテクチャを見つけるには、膨大な数のネットワークを探索し、その性能に基づいてスコアを付けて最も適切なものを選定する必要があるため、時間のかかるプロセスとなる。本研究では、未学習のモデルがデータ間をどれだけ区別できるかを評価する能力を測定するために、イントラクラスタ距離(Intra-Cluster Distance: ICD)スコアを用いた新たな指標を提案する。また、従来のファイヤーフライ(FireFly)アルゴリズムよりも局所最適解問題に対してよりロバストな改良版のファイヤーフライアルゴリズムを、特定のデータセットに適した最良のニューラルネットワークモデルを探索するための探索手法として用いる。異なるNASベンチマークにおける実験結果から、本研究で提案する指標がCNNおよびRNNの両方に対して有効であることが示されるとともに、提案するファイヤーフライアルゴリズムが、最先端の訓練不要型手法よりも優れた結果を達成できることを確認した。