PRE-NAS：予測子支援型エボリューション型ニューラルアーキテクチャ探索

ニューラルアーキテクチャサーチ（NAS）は、ニューラルネットワークにおけるアーキテクチャ設計を自動化することを目的としています。このプロセスでは、探索空間内のすべての可能なネットワークから候補ネットワークを多数評価する必要があり、計算コストが非常に高くなることが一般的です。ネットワークの性能を予測する手法を導入することで、すべての候補ネットワークを評価する必要を軽減し、高コストな計算負荷を緩和できます。しかし、このような予測器の開発には、多数の評価済みアーキテクチャのデータが必要であり、実際には入手が困難な場合があります。本研究では、極めて少ない評価済みアーキテクチャ数でも優れた性能を発揮できる新しい進化的アプローチを提案します。これを「予測器支援型進化的NAS（Predictor-assisted E-NAS：PRE-NAS）」と呼びます。PRE-NASは、新たな進化的探索戦略を採用し、世代間で高精度な重み継承（high-fidelity weight inheritance）を実現しています。従来のワンショット（one-shot）手法とは異なり、重み共有に起因する評価バイアスを回避できるように、PRE-NASにおける後代候補はトポロジー的に均質であるため、より正確な性能予測が可能になります。NAS-Bench-201およびDARTSの探索空間における広範な実験結果から、PRE-NASが最先端のNAS手法を上回る性能を示すことが確認されました。また、単一のGPUを用いてわずか0.6日間の探索で、CIFAR-10では2.40%、ImageNetでは24%という競争力のあるテスト誤差率を達成するアーキテクチャを発見できました。