要約
本論文では、アーキテクチャ検索のスケーラビリティの課題に取り組み、タスクを微分可能な形で定式化することによって解決を試みています。従来の手法が離散的かつ非微分可能な探索空間に対して進化アルゴリズムや強化学習を適用するのとは異なり、当方法はアーキテクチャ表現の連続的な緩和に基づいており、勾配降下法を使用して効率的にアー�キテクチャを探索することが可能となります。CIFAR-10、ImageNet、Penn TreebankおよびWikiText-2における広範な実験結果から、当アルゴリズムは画像分類用の高性能な畳み込みアーキテクチャと言語モデル用の再帰型アーキテクチャの発見において優れた性能を示し、最先端の非微分技術よりも桁違いに高速であることが確認されました。また、効率的なアーキテクチャ検索アルゴリズムに関するさらなる研究を促進するために、当実装は公開されています。