要約
ニューラルアーキテクチャサーチ（NAS）は、専門家によって設計されたネットワークを学習したタスク固有のアーキテクチャに置き換える可能性を持つ有望な研究方向です。本研究では、この分野の実証結果を基礎づけるために、以下の観察に基づいて新しいNAS基準を提案します：(i) NASは特化したハイパーパラメータ最適化問題であり；(ii) ランダムサーチはハイパーパラメータ最適化の競争力のある基準である。これらの観察を利用して、早期終了付きランダムサーチと新しい重み共有付きランダムサーチアルゴリズムを2つの標準的なNASベンチマーク（PTBおよびCIFAR-10）で評価しました。結果は、早期終了付きランダムサーチが競争力のあるNAS基準であることを示しています。例えば、両方のベンチマークにおいてENAS（主要なNAS手法）と同等以上の性能を達成しています。さらに、重み共有付きランダムサーチは早期終了付きランダムサーチよりも優れており、PTBでは最先端のNAS結果を達成し、CIFAR-10でも非常に競争力のある結果を示しています。最後に、公開されているNAS結果の再現性問題について探ります。これらの結果を正確に再現するために必要なソース材料の不足に言及し、さらにNAS実験設定における様々な変動源を考えたときに公開された結果の堅牢性について議論します。関連して、我々は自らの結果を正確に再現するために必要なすべての情報（コード、乱数シード、ドキュメンテーション）を提供し、各ベンチマークにおける複数回実行した重み共有付きランダムサーチの結果を報告します。