要約
本稿では、高い精度と低い不確実性の両方を同時に達成できるようにニューラルネットワークを最適化する、モデル不確実性を考慮した微分可能なアーキテクチャ探索手法（μDARTS）を提案する。μDARTSでは、DARTSセル内にコンクリートドロップアウト（concrete dropout）を導入し、訓練損失関数にモンテカルロ正則化項を組み込むことで、コンクリートドロップアウトの確率を最適化する。さらに、検証損失関数に予測分散項を導入することで、モデル不確実性が最小となるアーキテクチャの探索を可能にしている。CIFAR10、CIFAR100、SVHNおよびImageNetにおける実験結果から、従来のDARTS手法と比較して、μDARTSが精度の向上と不確実性の低減の両面で有効であることが確認された。また、μDARTSによって得られた最終的なアーキテクチャは、入力画像やモデルパラメータに対するノイズに対して、従来のDARTS手法で得られたアーキテクチャよりも高いロバスト性を示した。