HyperAIHyperAI

Command Palette

Search for a command to run...

フェアDARTS:微分可能アーキテクチャ探索における不公平な優位性の排除

Xiangxiang Chu Tianbao Zhou Bo Zhang Jixiang Li

概要

微分可能なアーキテクチャ探索(DARTS)は、現在、重み共有型のニューラルアーキテクチャ探索手法として広く普及している。しかし、避けがたいスキップ接続の集約によって、知られている性能の崩壊(performance collapse)という問題を抱えている。本論文では、その根本原因が排他的競争における不平等な優位性に起因することを初めて明らかにする。実験を通じて、2つの条件のいずれかが満たされない場合、性能の崩壊が発生しなくなることを示した。これに基づき、排他的競争を協調的競争へ緩和する新たなアプローチである「Fair DARTS」を提案する。具体的には、各演算のアーキテクチャ重みが互いに独立となるように設計する。しかし、離散化の不一致(discretization discrepancy)という重要な課題が残っている。そこで、アーキテクチャ重みが0または1に近づくように促すゼロ・ワン損失(zero-one loss)を導入し、期待されるマルチホット解の近似を実現する。本研究では、2つの主流な探索空間を対象に実験を実施し、CIFAR-10およびImageNetにおいて新たな最先端の成果を達成した。実装コードは、https://github.com/xiaomi-automl/fairdarts にて公開されている。


AIでAIを構築

アイデアからローンチまで — 無料のAIコーディング支援、すぐに使える環境、最高のGPU価格でAI開発を加速。

AI コーディング補助
すぐに使える GPU
最適な料金体系

HyperAI Newsletters

最新情報を購読する
北京時間 毎週月曜日の午前9時 に、その週の最新情報をメールでお届けします
メール配信サービスは MailChimp によって提供されています
フェアDARTS:微分可能アーキテクチャ探索における不公平な優位性の排除 | 記事 | HyperAI超神経