17 天前

神经进化系统中的物理合理性研究

Gabriel Cortês, Nuno Lourenço, Penousal Machado
神经进化系统中的物理合理性研究
摘要

随着人工智能(AI)模型,尤其是深度神经网络(DNNs)的广泛应用,模型在训练与推理阶段的功耗持续上升,引发了日益严峻的环境问题,也推动了对更节能算法与硬件解决方案的迫切需求。本文针对机器学习(ML)领域,特别是推理阶段日益增长的能耗问题提出解决方案。即便功耗的微小降低,也能带来显著的能源节约,从而惠及用户、企业以及整个生态环境。本研究提出一种基于神经演化框架的方法,在尽可能保持人工神经网络(ANN)模型高精度的同时,最大限度地降低其功耗。为此,我们将功耗纳入适应度函数进行优化。我们提出一种新型变异策略,通过随机重新引入网络中的层模块,并赋予功耗更低的模块更高的选择概率。此外,我们设计了一种创新技术,可在单次训练步骤中同时训练两个独立模型,同时引导其中一个模型在保持与另一个模型相近精度的前提下,实现更高的能效。实验结果表明,该方法可使ANN模型的功耗降低高达29.2%,且预测性能未出现显著下降。