17 天前

基于基因表达编程的动态搜索空间下有限GPU时间神经架构搜索优化

Jeovane Honorio Alves, Lucas Ferrari de Oliveira
基于基因表达编程的动态搜索空间下有限GPU时间神经架构搜索优化
摘要

近年来,图像、文本、音频和视频中人物与物体的高效识别、感兴趣区域的分割以及相关数据的提取取得了显著进展,这主要得益于深度学习方法与计算资源近期提升的有机结合。尽管深度学习展现出巨大潜力,但高效网络架构与模块的开发仍需依赖专家知识,并耗费大量资源与时间。本文提出一种基于进化的神经架构搜索方法,能够在仅24 GPU小时的计算时间内,于动态搜索空间中高效发现卷积神经网络模型。通过采用基因表达编程(Gene Expression Programming)作为网络单元生成机制,结合其高效的搜索环境与表型表示方式,本方法在GPU资源有限且搜索空间广阔的情况下,仍取得了与人工设计的卷积网络及基于神经架构搜索(NAS)生成的模型相当甚至更优的性能,甚至超越了其他类似约束条件下的进化型NAS方法。在不同运行实验中,所发现的最佳网络单元表现出高度稳定性:在CIFAR-10数据集上,平均误差为2.82%(最优模型误差达2.67%);在CIFAR-100数据集上,平均误差为18.83%(最优模型误差为18.16%)。在移动设备场景下的ImageNet数据集上,最优模型分别达到29.51%的Top-1误差和10.37%的Top-5误差。尽管已有研究指出基于进化算法的NAS方法通常需要大量GPU时间进行架构搜索,但本方法在极短的计算时间内即获得了具有竞争力的结果,展现出显著的效率优势。这一成果为未来在进化型NAS领域开展更深入的研究,尤其是在搜索策略与网络表示方式的优化方面,提供了有力的激励与可行路径。