HyperAIHyperAI

Command Palette

Search for a command to run...

基于方差的神经网络特征重要性

Cláudio Rebelo de Sá

摘要

本文提出了一种新的方法,用于衡量人工神经网络(Artificial Neural Networks, ANN)模型中各特征的相对重要性。该方法的基本原理假设:某一特征越重要,其对应的输入神经元所连接的权重在模型训练过程中变化幅度就越大。为捕捉这一动态行为,本文在训练过程中实时计算连接至输入层的每一权重的运行方差。为此,提出了一种对Welford在线算法的改进版本,用于高效实现在线方差的计算。训练完成后,将各权重的方差与最终的权重值相结合,从而得到每个特征的相对重要性度量。该方法在多个经典的分类与回归问题上,针对浅层和深层神经网络架构进行了测试。实验结果表明,该方法能够产生具有实际意义的度量结果。此外,分析还显示,所获得的特征重要性评分与随机森林(Random Forests, RF)模型中的变量重要性方法具有高度相关性,进一步验证了该方法的有效性与可靠性。


用 AI 构建 AI

从创意到上线——通过免费 AI 协同编码、开箱即用的环境和最优惠的 GPU 价格,加速您的 AI 开发。

AI 协同编码
开箱即用的 GPU
最优定价

HyperAI Newsletters

订阅我们的最新资讯
我们会在北京时间 每周一的上午九点 向您的邮箱投递本周内的最新更新
邮件发送服务由 MailChimp 提供