MSR-DARTS：微分可能アーキテクチャサーチの最小安定ランク

ニューラルアーキテクチャサーチ（NAS）において、微分可能なアーキテクチャサーチ（DARTS）はその高い効率性から近年注目を集めている。DARTSは、混合エッジを備えた過剰パラメータ化されたネットワークを定義し、各エッジがすべての演算子候補を表すように設計されている。その後、ネットワークの重みとアーキテクチャの重みを交互に最適化する手法を採用している。しかし、この手法は他のモデルと比較して重みの収束が速いモデルを発見してしまう傾向があり、特に収束速度が速いモデルは過学習を引き起こしやすい。その結果、得られるモデルは常に良好な汎化性能を示すとは限らない。この問題を克服するため、本研究では最小安定ランクDARTS（MSR-DARTS）という新しい手法を提案する。MSR-DARTSは、アーキテクチャの最適化を「最小安定ランク基準」に基づく選択プロセスに置き換えることで、最も良い汎化誤差を示すモデルを探索することを目的としている。具体的には、畳み込み演算子を行列で表現し、その中から安定ランクが最小となるものを選択する。本手法はCIFAR-10およびImageNetデータセット上で評価された結果、CIFAR-10では4.0Mパラメータで0.3 GPU日以内に2.54%の誤差率を達成し、ImageNetではトップ1誤差率23.9%を記録した。公式コードは以下のGitHubリポジトリで公開されている：https://github.com/mtaecchhi/msrdarts.git。