18日前

DU-DARTS:微分可能アーキテクチャ探索における不確実性の低減

{Xiaowei Li, Yiming Zeng, Jilin Mei, Zihao Sun, Longxing Yang, Yu Hu, Shun Lu}
DU-DARTS:微分可能アーキテクチャ探索における不確実性の低減
要約

差分可能なニューラルアーキテクチャサーチ(DARTS)は、その高い効率性から最近、多くの研究注目を集めている。しかし、DARTSにおける候補演算子間の競合は、真正に重要な演算子を選択する際に高い不確実性を引き起こし、結果として性能の著しい低下を招く。本研究では、アーキテクチャパラメータの分布がワンホットカテゴリカル分布に近づくように制約し、ゼロ演算子をゲートスイッチに置き換えることで、差分可能なアーキテクチャサーチにおける不確実性(DU-DARTS)を低減する手法を提案する。追加の探索コストを一切要せず、CIFAR-10、CIFAR-100、ImageNetデータセットにおいて、それぞれ2.32%、16.74%、24.1%のテスト誤差という、最先端の性能を達成した。さらに、NAS-Bench-1Shot1およびNAS-Bench-201においても、堅牢に優れたアーキテクチャを探索可能であることを示しており、本手法の有効性を裏付けている。ソースコードは https://github.com/ShunLu91/DU-DARTS にて公開されている。

DU-DARTS:微分可能アーキテクチャ探索における不確実性の低減 | 最新論文 | HyperAI超神経