ニューラルアーキテクチャサーチ（NAS）は、ニューラルネットワークの設計において劇的な改善をもたらしており、最近の結果では手動で調整されたアーキテクチャと同等かそれ以上の性能を達成しています。しかし、ニューラルネットワークのアーキテクチャの探索空間を表現する方法やその空間を効率的に探索する方法についての理解はまだ初期段階にあります。私たちは広く使用されている探索空間と最近のアーキテクチャ探索手法である微分可能なアーキテクチャサーチ（DARTS）の制限を特定するために詳細な分析を行いました。これらの知見に基づき、より一般的でバランスが取れて一貫性のある設計を持つ新しいネットワークブロック、最適化されたコサインパワー退火学習率スケジュール（Cosine Power Annealing learning rate schedule）、およびその他の改良点を導入しました。結果として得られたsharpDARTS探索は、DARTSと比較してCIFAR-10での最終モデル誤差で20-30%相対的に改善され、50%高速化されました。私たちが実行した最良の単一モデルでは、CIFAR-10での検証誤差が1.93%（1.98±0.07）、最近公開されたCIFAR-10.1テストセットでの誤差が5.5%（5.8±0.3）でした。当該サイズのモデルにおいて、これらは我々の知識では最先端の結果です。このモデルはImageNetでも競争力のある汎化性能を示し、トップ-1誤差が25.1%（トップ-5誤差7.8%）でした。既存の探索空間に対する改善点を見つけることができましたが、DARTSは新しい領域にも汎化できるでしょうか？私たちは微分可能なハイパーパラメータグリッドサーチとハイパーキュボイド探索空間という表現を提案します。これらはDARTSをより一般的なパラメータ最適化に活用することを目指して設計されました。ここでは、人間が一度に選択したモデルと比較してDARTSが汎化できないことを発見しました。私たちはDARTSとsharpDARTSの探索空間に戻ってその理由を探り、層別解析により異常な汎化ギャップがあることが明らかになりました。最後に、この問題を解決するためにMax-W正則化を提案します。これは手動で設計したものよりも著しく優れています。コードは公開される予定です。