HyperAIHyperAI

Command Palette

Search for a command to run...

无监督架构表示学习是否有助于神经架构搜索?

Shen Yan Yu Zheng Wei Ao Xiao Zeng Mi Zhang

摘要

现有的神经架构搜索(Neural Architecture Search, NAS)方法要么采用离散编码来表示神经架构,这类方法难以扩展;要么采用基于监督学习的方法,联合学习架构表示并在此表示基础上优化架构搜索,但这会引入搜索偏差。尽管这些方法已被广泛使用,但NAS中学习到的架构表示仍缺乏深入理解。我们观察到,当架构表示学习与搜索过程耦合时,神经架构的结构特性在潜在空间中难以有效保持,从而导致搜索性能下降。在本研究中,我们通过实证发现:仅使用神经架构本身(不依赖其准确率作为标签)进行预训练,可显著提升下游架构搜索的效率。为解释这一现象,我们可视化了无监督架构表示学习的过程,发现其更有利于将具有相似连接结构和操作符的神经架构聚集在潜在空间中的相近区域。这使得性能相近的神经架构在潜在空间中被映射至同一区域,从而实现潜在空间中架构之间的平滑过渡,显著提升了多种下游搜索策略的多样性与有效性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供