効率的な画像分類器探索のための汎用的グローバルランク認識ニューラルアーキテクチャランカー

ニューラルアーキテクチャサーチ(NAS)は、効果的な画像処理DNN設計を自動化するための強力なツールである。NASにおける効率的な性能予測子の設計には、アーキテクチャの順位付け(ranking)が有効であると広く提案されている。従来の対照的(contrastive)手法は、2つのアーキテクチャを比較し、それらの相対的な性能を予測することで順位問題を解決していた。しかし、この手法は関与する2つのアーキテクチャ間の順位関係にのみ注目しており、探索空間全体の性能分布の特性を無視しているため、一般化性能に課題を抱える可能性がある。このような局所的視点に起因する問題を克服するため、特定のアーキテクチャのグローバルな性能階層(quality tier)に注目する新たな予測子、すなわち「ニューラルアーキテクチャランカー(NAR)」が提案された。NARは探索空間全体の性能階層を包括的に分析し、各アーキテクチャをそのグローバル順位に基づいて適切な階層に分類する。これにより、予測子は探索空間内の性能分布の構造を学習することができ、より汎化しやすい順位付け能力を獲得する。同時に、グローバルな性能分布は探索フェーズにおいても有効に活用可能であり、強化学習(RL)や進化的アルゴリズム(EA)などの学習を必要とせずに、各階層の統計情報をもとに直接候補アーキテクチャをサンプリングすることで、探索プロセスを簡素化し、計算コストの削減を実現する。提案手法のNARは、NAS研究で広く用いられる2つのデータセットにおいて、最先端の手法を上回る性能を達成した。特に、NAS-Bench-101の広大な探索空間において、学習を一切行わず、単なるサンプリングによってトップ0.01‰の性能を持つアーキテクチャを容易に発見できた。また、NAS-Bench-201における異なる画像データセット(CIFAR-10、CIFAR-100、ImageNet-16-120)に対しても良好な一般化性能を示し、それぞれのデータセットに対して最適なアーキテクチャを正確に特定する能力を有している。