Bonsai-Net：微分可能プルーニングによるワンショットニューラルアーキテクチャサーチ

ワンショットニューラルアーキテクチャサーチ（NAS）は、最先端のモデルを発見する際の計算コストを最小化することを目的としている。しかし、昨年、最先端のNASアルゴリズムが使用する同じ探索空間において、単純なランダムサーチがそれと比較して同等の性能を示すことが指摘された。この問題に対処するため、本研究ではNASの探索空間を大幅に緩和する影響を検討し、緩和された探索空間を効率的に探索できる「Bonsai-Net」という、効率的なワンショットNAS手法を提案する。Bonsai-Netは、修正された微分型プルーニング機構を基盤として構築されており、他の最先端手法よりもパラメータ数が少なく、かつランダムサーチよりも顕著に優れた最先端アーキテクチャを一貫して発見できる。さらに、Bonsai-Netはモデル探索と学習を同時に実行するため、完全に訓練されたモデルをゼロから生成するまでの総合的な所要時間を大幅に短縮できる。