動的探索空間における限られたGPU時間を活用したニューラルアーキテクチャ探索の最適化：遺伝子発現プログラミングアプローチ

近年、画像、文章、音声および動画における人物や物体の効率的同定、注目領域のセグメンテーション、関連データの抽出技術は著しく進展しており、深層学習手法と計算リソースの最近の向上がその大きな要因となっている。その優れた可能性にもかかわらず、効率的なネットワークアーキテクチャおよびモジュールの開発には専門知識と膨大なリソース時間が必要とされる。本論文では、動的探索空間内で24 GPU時間以内に効率的な畳み込みモデルを発見することを目的として、進化的アプローチに基づくニューラルアーキテクチャ探索（Neural Architecture Search, NAS）手法を提案する。本手法では、効率的な探索環境と表現方式を備えた遺伝子発現プログラミング（Gene Expression Programming）を用いて、ネットワークのセル（cell）を生成する。限られたGPUリソース時間と広範な探索空間にもかかわらず、提案手法は手動設計された畳み込みネットワークおよびNASによって生成されたアーキテクチャと同等の最先端性能を達成し、同様の制約条件を設けた進化的NAS手法を上回る結果も得られた。複数回の実験において最良のセルは安定した性能を示し、CIFAR-10データセットでは平均誤差2.82％（最良モデル：2.67％）、CIFAR-100では18.83％（最良モデル：18.16％）を達成した。また、モバイル設定下でのImageNetにおいては、最良モデルでトップ1誤差29.51％、トップ5誤差10.37％を記録した。進化的NAS手法はこれまで、アーキテクチャ探索に膨大なGPU時間が必要とされてきたが、本手法は極めて短時間で有望な結果を達成した。これは、進化的NASにおける探索戦略やネットワーク表現のさらなる改善に向けたさらなる実験を促すものである。