要約
重み共有ニューラルアーキテクチャ探索における最も重要な問題の一つは、事前に定義された探索空間内の候補モデルの評価である。実際には、一発勝負のスーパーネットワークが評価器として訓練される。忠実なランキングはより正確な探索結果につながるが、現行の方法は誤った判断を下しやすい傾向にある。本論文では、その偏った評価がスーパーネットワーク訓練における内在的な不公平さに起因することを証明する。これに対応するために、期待値公平性と厳密公平性という2つのレベルの制約を提案する。特に、厳密公平性は訓練全体を通じてすべての選択ブロックに等しい最適化機会を保証し、それらの能力を過大評価したり過小評価したりしないようにする。このことがモデルのランキング信頼度向上にとって重要であることを示す。提案した公平性制約のもとで訓練された一発勝負のスーパーネットワークと多目的進化探索アルゴリズムを組み合わせることで、様々な最先端モデルを得ることができた。例えば、FairNAS-AはImageNetにおいて77.5%のトップ1検証精度を達成した。これらのモデルと評価コードはオンラインで公開されている (http://github.com/fairnas/FairNAS)。