DARTS-：无需指标即可稳健规避性能崩溃

尽管可微分架构搜索（DARTS）发展迅速，但其长期存在性能不稳定的问题，严重限制了其实际应用。现有的鲁棒性增强方法往往仅基于性能恶化后的表现特征进行调整，而非深入探究导致该问题的根本原因。为此，研究者提出了多种指标（如Hessian特征值）作为预警信号，在性能崩溃前中止搜索过程。然而，这类基于指标的方法在阈值设置不当的情况下，容易误判并剔除优质架构，更不用说搜索过程本身具有固有的噪声特性。本文提出一种更为精细且直接的解决方案来缓解性能崩溃问题。我们首先实证表明，跳跃连接（skip connection）在所有候选操作中具有显著优势：它能够迅速从不利状态中恢复，并最终占据主导地位。我们推测，正是这种优势导致了架构搜索过程中的性能退化。为此，我们引入一个辅助的跳跃连接，以剥离该优势带来的影响，从而实现各类操作之间的公平竞争。我们称该方法为 DARTS-。在多个数据集上的大量实验验证了该方法在显著提升搜索鲁棒性方面的有效性。相关代码已开源，地址为：https://github.com/Meituan-AutoML/DARTS-。