要約
効率的なニューラルアーキテクチャ探索のための新しい機能保存変換を導入します。このネットワーク変換は、以前に訓練されたネットワークや既存の成功したアーキテクチャを再利用可能とし、サンプル効率を向上させます。我々は、現在のネットワーク変換操作が層レベルでのアーキテクチャ修正（フィルターの追加（剪定）や層の挿入（削除）など）しか行えず、接続パスのトポロジーを変更できないという制限に対処することを目指しています。提案するパスレベル変換操作は、メタコントローラーが与えられたネットワークのパストポロジーを修正しながら重みの再利用の利点を維持できるようにし、従ってInceptionモデルのような複雑なパストポロジーを持つ効果的な構造を効率的に設計することが可能となります。さらに、単純でありながら非常に表現力豊かな木構造のアーキテクチャ空間を探求する双方向木構造強化学習メタコントローラーを提案します。これは多分岐アーキテクチャの一般化とみなすことができます。限られた計算リソース（約200 GPU時間）を使用して画像分類データセットで実験を行い、パラメータ効率とテスト結果が改善していることを確認しました（CIFAR-10では14.3Mパラメータで97.70%のテスト精度、モバイル設定下のImageNetでは74.6%のトップ1精度）。これらの結果は、我々が設計したアーキテクチャの有効性と転移可能性を示しています。