要約
近年の自動ニューラルアーキテクチャ探索（Neural Architecture Search: NAS）技術に関する研究は、手動で設計されたニューラルアーキテクチャと比較して、あるいはそれ以上に優れた性能を示すことが実証されている。しかし、既存の多数の探索手法は、残差接続（residual structure）および浅層と深層特徴間の連結接続（concatenation connection）を採用しており、その結果、ネットワークパラメータおよび中間特徴マップを大量に記憶する必要があり、計算複雑性も過剰となるため、リソース制約のあるデバイス上で実行するには非効率なモデルが生成されてしまう。この課題に対処するため、本研究では、成長と削減（growing and trimming）に基づく新たなNASフレームワーク「MemNAS」を提案する。本手法は、推論ネットワークの性能だけでなく、メモリ要件の最適化も同時に実現することを目的としている。具体的には、探索プロセスにおいて、ネットワークパラメータおよび必須の中間特徴マップのメモリ使用量という実行時メモリ使用量を、性能と並行して最適化対象として取り入れる。さらに、探索精度を向上させるために、複数の候補アーキテクチャ間の相関関係を抽出し、性能とメモリ効率の両面で望ましいものをランキングして選定する。ImageNet分類タスクにおける実験結果では、MemNASは75.4%の精度を達成し、MobileNetV2と比較して0.7%高い性能を発揮しつつ、メモリ使用量を42.1%削減した。追加の実験により、精度とメモリ消費量のトレードオフにおいて異なるターゲットに応じて、MemNASが良好な性能を発揮することが確認された。