11 天前

快速且稳健的特征选择:面向自编码器的能量高效稀疏训练优势

Zahra Atashgahi, Ghada Sokar, Tim van der Lee, Elena Mocanu, Decebal Constantin Mocanu, Raymond Veldhuis, Mykola Pechenizkiy
快速且稳健的特征选择:面向自编码器的能量高效稀疏训练优势
摘要

近年来,高维数据量的急剧增加引发了诸多重大挑战,包括高昂的计算成本和巨大的内存需求。为应对这一问题,特征选择技术应运而生,其核心思想是识别数据集中最具相关性和信息量的属性。然而,现有大多数特征选择方法在计算效率方面表现不佳,低效算法导致能耗过高,这显然不适用于计算能力和能源资源受限的设备。本文提出一种新颖且灵活的无监督特征选择方法——QuickSelection。该方法创新性地将稀疏神经网络中神经元的激活强度作为衡量特征重要性的准则,并结合通过稀疏进化训练(sparse evolutionary training)过程训练得到的稀疏连接去噪自编码器,实现对所有输入特征重要性的同步评估。与传统方法中通过二值掩码模拟稀疏性的方式不同,QuickSelection在实现上完全采用稀疏结构,从而显著提升了运行速度并大幅降低了内存占用。在多个基准数据集上的实验验证表明,包括五个低维和三个高维数据集,所提出的方法在分类与聚类准确率、运行时间以及最大内存使用量之间实现了最优权衡,优于广泛使用的各类特征选择方法。此外,与当前最先进的基于自编码器的特征选择方法相比,QuickSelection所需能耗最低,展现出优异的能效优势。

快速且稳健的特征选择:面向自编码器的能量高效稀疏训练优势 | 最新论文 | HyperAI超神经