要約
過去5年間、ニューラルアーキテクチャ探索（NAS）のための多くの手法が検討されてきた。長年にわたりハイパーパラメータ最適化で成功を収めてきたベイズ最適化（BO）は、最近、ニューラル予測器と組み合わせることで、NASにおける非常に有望な戦略として注目されている。近年の研究では、このフレームワークの異なる実装が提案されており、例えばベイズニューラルネットワークやグラフ畳み込みネットワークをBO内の予測モデルとして用いる例がある。しかし、これらの論文における分析はしばしば包括的なNASアルゴリズムに焦点を当てており、フレームワーク内のどの個別コンポーネントが最良の性能をもたらすのかを明確に特定することは難しい。本研究では、「BO＋ニューラル予測器」フレームワークを、5つの主要な構成要素—アーキテクチャ符号化方式、ニューラル予測器、不確実性のキャリブレーション手法、獲得関数、および獲得関数の最適化戦略—に分解することで、包括的な分析を行う。各コンポーネントについて複数の異なる手法を検証するとともに、新たなパスベース符号化スキームを提案する。理論的および実験的に、この新しい符号化方式が他の手法に比べてより優れたスケーラビリティを示すことを確認した。これらの分析結果を統合して、最終的にBANANASと名付けた新しいアルゴリズムを構築した。このアルゴリズムは、典型的なNAS探索空間において、最先端の性能を達成した。本研究ではNAS研究のチェックリスト（Lindauer and Hutter, 2019）に従い、ベストプラクティスの促進を図った。実装コードは、https://github.com/naszilla/naszilla にて公開されている。