15일 전

신경망에서의 분산 기반 특성 중요도

{Cláudio Rebelo de Sá}
초록

이 논문은 인공 신경망(ANN) 모델에서 특성의 상대적 중요도를 측정하기 위한 새로운 방법을 제안한다. 이 방법의 핵심 원리는, 특정 특성이 얼마나 중요한지에 따라 해당 입력 뉴런에 연결된 가중치가 모델 훈련 과정에서 얼마나 많이 변화하는가에 있다. 이러한 행동을 포착하기 위해, 훈련 중 입력층에 연결된 각 가중치의 누적 분산을 실시간으로 측정한다. 이를 위해 온라인 분산을 계산하기 위한 웰포드(Welford) 알고리즘의 적응형 버전을 제안한다. 훈련이 완료된 후에는 각 입력에 대해 가중치의 분산을 최종 가중치와 결합하여 각 특성에 대한 상대적 중요도를 산출한다. 제안된 방법은 여러 유명한 분류 및 회귀 문제에 대해 얕은(Shallow) 및 깊은(Deep) 신경망 아키텍처를 활용하여 검증되었으며, 그 결과는 이 접근법이 의미 있는 측정을 제공함을 확인시켜 주었다. 또한, 중요도 점수는 랜덤 포레스트(RF)의 변수 중요도 방법과 매우 높은 상관관계를 보였으며, 이는 제안된 방법의 타당성을 더욱 뒷받침한다.

신경망에서의 분산 기반 특성 중요도 | 최신 연구 논문 | HyperAI초신경