要約
現在の大多数のニューラルアーキテクチャ探索（NAS）アルゴリズムは、コンピュータビジョンにおける画像分類など、下流タスクに特化して設計され、その性能によって評価されている。しかし、広範な実験により、ResNet（コンピュータビジョン分野）やLSTM（自然言語処理分野）といった優れたニューラルアーキテクチャは、入力データからのパターン抽出能力に優れており、さまざまな下流タスクにおいても良好な性能を発揮することが示されている。本論文では、NASに関する2つの根本的な問いに答えることを目的とする。（1）特定の下流タスクの性能を用いて優れたニューラルアーキテクチャの評価と探索を行う必要があるのか？（2）下流タスクに依存せずに、効果的かつ効率的にNASを実行することは可能か？これらの問いに答えるために、本研究では新しい汎用的なNASフレームワーク、GenNAS（Generic NAS）を提案する。GenNASはタスク固有のラベルを用いない。代わりに、手動で設計された合成信号基底に対する回帰タスクを用いてアーキテクチャの評価を行う。この自己教師付き回帰タスクは、アーキテクチャが入力信号パターンを捉え、変換する内在的な能力を効果的に評価でき、さらに訓練サンプルの活用をより十分に行える。13のCNN探索空間および1つのNLP空間における広範な実験により、GenNASが回帰に基づく評価において極めて高い効率性を示すことが確認された。具体的には、近似された性能と下流タスクの性能との間の順位相関（Spearmanのrho）という指標において高い精度を達成しており、また訓練の収束速度も数秒以内で実現している。